文档介绍：数据挖掘chap2
数据挖掘系统的演变
典型数据挖掘系统的体系结构
数据仓库
数据清洗
过滤
数据库
数据库或数据仓库服务器
数据挖掘引擎
模式评估
图形用户界面
知识库
数据集成
数据挖掘:从历史的角度提供信息（比如过去 5-10 年）
数据仓库中的每一个关键结构都隐式或显式地包含时间元素，而操作数据库中的关键结构可能就不包括时间元素。
数据仓库关键特征四——数据不易丢失
尽管数据仓库中的数据来自于操作数据库，但他们却是在物理上分离保存的。
操作数据库的更新操作不会出现在数据仓库环境下。
不需要事务处理，恢复，和并发控制等机制
只需要两种数据访问:
数据的初始转载和数据访问（读操作）
数据仓库的构建与使用
数据仓库的构建包括一系列的数据预处理过程
数据清理
数据集成
数据变换
数据仓库的使用热点是商业决策行为，例如：
增加客户聚焦
产品重定位
寻找获利点
客户关系管理
数据仓库与异种数据库集成
异种数据库的集成方法
传统的异种数据库集成:（查询驱动）
在多个异种数据库上建立包装程序（wrappers）和中介程序（mediators ）
查询驱动方法——当从客户端传过来一个查询时，首先使用元数据字典将查询转换成相应异种数据库上的查询；然后，将这些查询映射和发送到局部查询处理器
数据仓库: （更新驱动）
将来自多个异种源的信息预先集成，并存储在数据仓库中，供直接查询和分析
查询驱动方法和更新驱动方法的比较
查询驱动的方法
需要负责的信息过滤和集成处理
与局部数据源上的处理竞争资源
对于频繁的查询，尤其是涉及聚集（汇总）操作的查询，开销很大（决策支持中常见的查询形式）
更新驱动的方法（带来高性能）
数据经预处理后单独存储，对聚集操作提供良好支持
不影响局部数据源上的处理
集成历史信息，支持负责的多维查询
数据仓库与操作数据库系统
操作数据库系统的主要任务是联机事务处理OLTP
日常操作: 购买，库存，银行，制造，工资，注册，记帐等
数据仓库的主要任务是联机分析处理OLAP
数据分析和决策支持，支持以不同的形式显示数据以满足不同的用户需要
OLTP VS. OLAP(1)
用户和系统的面向性
面向顾客（事务） VS. 面向市场（分析）
数据内容
当前的、详细的数据 VS. 历史的、汇总的数据
数据库设计
实体－联系模型(ER)和面向应用的数据库设计 VS. 星型/雪花模型和面向主题的数据库设计
OLTP VS. OLAP(2)
数据视图
当前的、企业内部的数据 VS. 经过演化的、集成的数据
访问模式
事务操作 VS. 只读查询（但很多是复杂的查询）
任务单位
简短的事务 VS. 复杂的查询
访问数据量
数十个 VS. 数百万个
OLAP VS. OLTP (3)
用户数
数千个 VS. 数百个
数据库规模
100M-数GB VS. 100GB-数TB
设计优先性
高性能、高可用性 VS. 高灵活性、端点用户自治
度量
事务吞吐量 VS. 查询吞吐量、响应时间
为什么需要一个分离的数据仓库?
提高两个系统的性能
DBMS是为OLTP而设计的：存储方式,索引, 并发控制, 恢复
数据仓库是为OLAP而设计：复杂的 OLAP查询, 多维视图，汇总
不同的功能和不同的数据:
历史数据: 决策支持需要历史数据，而这些数据在操作数据库中一般不会去维护
数据汇总：决策支持需要将来自异种源的数据统一（如聚集和汇总）
数据质量: 不同的源使用不一致的数据表示、编码和格式，对这些数据进行有效的分析需要将他们转化后进行集成
多维数据模型 (1)
数据仓库和OLAP工具基于多维数据模型
在多维数据模型中，数据以数据立方体(data cube)的形式存在
数据立方体允许以多维数据建模和观察。它由维和事实定义
维是关于一个组织想要记录的视角或观点。每个维都有一个表与之相关联，称为维表。
多维数据模型围绕中心主题组织，该主题用事实表表示
事实表包括事实的名称或度量以及每个相关维表的关键字
事实指的是一些数字度量
多维数据模型 (2) ——示例
time_key
day
day_of_the_week
month
quarter
year
time 维表
location_key
street
city
state_or_province
country
location 事实表
Sales 事实表
time_key
item_key
branch_key
location_key
units_sold
dollars_sold
avg_sales
度量
item_key
item_name
brand
type
supplier_typ