文档介绍：数据仓库和数据挖掘的OLAP技术
数据仓库-数据挖掘的有效平台
数据仓库中的数据清理和数据集成,是数据挖掘的重要数据预处理步骤
数据仓库提供OLAP工具,可用于不同粒度的数据分析
很多数据挖掘功能都可以和OLAP操作集成,以提供不同概念层上的知识发现
分类
预测
关联
聚集
什么是数据仓库?
数据仓库的定义很多,但却很难有一种严格的定义
它是一个提供决策支持功能的数据库,它与公司的操作数据库分开维护。
为统一的历史数据分析提供坚实的平台,对信息处理提供支持
数据仓库区别于其他数据存储系统
“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合,支持管理部门的决策过程.”—W. H. Inmon
数据仓库关键特征一——面向主题
面向主题,是数据仓库显著区别于关系数据库系统的一个特征
围绕一些主题,如顾客、供应商、产品等
关注决策者的数据建模与分析,而不是集中于组织机构的日常操作和事务处理。
排除对于决策无用的数据,提供特定主题的简明视图。
数据仓库关键特征二——数据集成
一个数据仓库是通过集成多个异种数据源来构造的。
关系数据库,一般文件,联机事务处理记录
使用数据清理和数据集成技术。
确保命名约定、编码结构、属性度量等的一致性。
当数据被移到数据仓库时,它们要经过转化。
数据仓库关键特征三——随时间而变化
数据仓库是从历史的角度提供信息
数据仓库的时间范围比操作数据库系统要长的多。
操作数据库系统: 主要保存当前数据。
数据仓库:从历史的角度提供信息(比如过去 5-10 年)
数据仓库中的每一个关键结构都隐式或显式地包含时间元素,而操作数据库中的关键结构可能就不包括时间元素。
数据仓库关键特征四——数据不易丢失
尽管数据仓库中的数据来自于操作数据库,但他们却是在物理上分离保存的。
操作数据库的更新操作不会出现在数据仓库环境下。
不需要事务处理,恢复,和并发控制等机制
只需要两种数据访问:
数据的初始转载和数据访问(读操作)
数据仓库的构建与使用
数据仓库的构建包括一系列的数据预处理过程
数据清理
数据集成
数据变换
数据仓库的使用热点是商业决策行为,例如:
增加客户聚焦
产品重定位
寻找获利点
客户关系管理
数据仓库与异种数据库集成
异种数据库的集成方法
传统的异种数据库集成:(查询驱动)
在多个异种数据库上建立包装程序(wrappers)和中介程序(mediators )
查询驱动方法——当从客户端传过来一个查询时,首先使用元数据字典将查询转换成相应异种数据库上的查询;然后,将这些查询映射和发送到局部查询处理器
数据仓库: (更新驱动)
将来自多个异种源的信息预先集成,并存储在数据仓库中,供直接查询和分析
查询驱动方法和更新驱动方法的比较
查询驱动的方法
需要负责的信息过滤和集成处理
与局部数据源上的处理竞争资源
对于频繁的查询,尤其是涉及聚集(汇总)操作的查询,开销很大(决策支持中常见的查询形式)
更新驱动的方法(带来高性能)
数据经预处理后单独存储,对聚集操作提供良好支持
不影响局部数据源上的处理
集成历史信息,支持负责的多维查询