文档介绍：数据仓库
一、基本概念
随着数据库技术的应用普及和发展,人们不再仅仅满足于一般的业务处理,而对系统提出了更高的要求:提供决策支持。
何谓数据仓库
一种面向分析的环境;
一种把相关的各种数据转换成有商业价值的信息的技术。
1、从数据库到数据仓库
数据库系统能够很好的用于事务处理,但它对分析处理的支持一直不能令人满意。特别是当以业务处理为主的联机事务处理(OLTP) 应用和以分析处理为主的DSS应用共存于一个数据库系统时,就会产生许多问题。
例如,事务处理应用一般需要的是当前数据,主要考虑较短的响应时间;而分析处理应用需要是历史的、综合的、集成的数据,它的分析处理过程可能持续几个小时,从而消耗大量的系统资源。
人们逐渐认识到直接用事务处理环境来支持DSS是行不通的。要提高分析和决策的有效性,分析型处理及其数据必须与操作型处理及其数据分离。必须把分析型数据从事务处理环境中提取出来,按照DSS处理的需要进行重新组织,建立单独的分析处理环境。
数据仓库技术正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。
操作型数据
分析型数据
细节的
综合的,或提炼的
在存取瞬间是准确的
代表过去的数据
可更新
不更新
操作需求事先可知道
操作需求事先不知道
生命周期符合SDLC
完全不同的生命周期
对性能要求高
对性能要求宽松
一个时刻操作一个单元
一个时刻操作一个集合
事物驱动
分析驱动
面向应用
面向分析
一次操作数据量小
一次操作数据量大
支持日常操作
支持管理需求
数据仓库的定义及特征
《Building the Data Warehouse》一书中,给出了数据仓库的四个基本特征:面向主题,数据是集成的,数据是不可更新的,数据是随时间不断变化的。
3、数据仓库中的数据组织
数据仓库中的数据分为四个级别:早期细节级,当前细节级,轻度综合级,高度综合级。
1985~1998年
销售明细表
1998~2003年
销售明细表
1998~2003年
每月销售表
1998~2003年
每季度销售表
DW中还有一类重要的数据:元数据(metedata)。元数据是“关于数据的数据”(RDBMS中的数据字典就是一种元数据)。
数据仓库中的元数据描述了数据的结构、内容、索引、码、数据转换规则、粒度定义等。
4、数据仓库系统结构
RDBMS
数据文件
其他
综合数据
当前数据
历史数据
元数据
抽取、转换、装载
数据仓库
OLAP工具
DM工具
查询工具
分析工具
二、数据仓库设计
数据仓库的设计分为如下三个阶段:
数据仓库建模
分析主题域
确定粒度层次
确定数据分割策略
构建数据仓库
数据的存储结构与存储策略
DSS应用编程