文档介绍：数据仓库设计
DW设计是一个操作型系统设计方法演变而来的范例。DW设计者不仅要设计一个数据库(DW用DB实现)和一个用户接口(数据展现部分)。而且还必须设计数据与OLTP系统的接口,数据装载策略,数据存取工具,用户培训方案和不间断的维护方案。即必须考虑许多在操作型系统设计中不必考虑的问题。本章的意图就是帮助你完善的理解如何建立和实现DW和在一个完整的DW设计必须考虑的问题.
本章的主要内容:
数据仓库的生命周期
数据仓库的方法论
数据仓库的规划
数据仓库的技术体系结构
数据仓库的数据模型设计
数据仓库的粒度设计
数据仓库的开发
数据仓库解决方案
。
按照生命周期发法可将数据仓库开发的全部过程分成三个阶段:
数据仓库规划分析阶段
数据仓库设计实施阶段
数据仓库的应用阶段
这三个阶段不是简单的循环往复,而是不断完善提高的过程。一般情况下数据仓库系统都不可能在一个循环过程中完成,而是经过多次循环开发,每次循环都会给系统增加新的功能,这种循环的工作永远不会终结,数据仓库也就一直处于一个不断完善、不断提高的循环玩傅过程中。
数据仓库开发的生命周期
规划与确定需求
开发概念模型
数据仓库评价
数据仓库维护
数据藏库应用
数据装载预测试
开发中间件
确定数据抽取源
数据库于远数据设计
设计体系结构
开发逻辑模型
数据仓库开发过程
规划分析阶段
使用维护阶段
设计实施阶段
图3-1 数据仓库开发的生命周期
DW的开发与应用的阶段是对DW开发应用的生命周期描述。按照生命周期法可将DW开发应用的全过程分成:DW规划分析、DW设计实施和DW应用三个阶段,完成这三个阶段并不意味着DW开发的终止,而是DW开发向更高阶段发展的一个转变。一方面通过这三个阶段的DW开发积累了DW开发应用经验,可对原DW提出改进的建议,使原DW通过改进得到提高,另一方面,用户新的需求也会丰富原DW的设计,这就是螺旋式周期性开发方法。
DW规划分析阶段
调查、分析DW环境,完成DW的开发规划,却定DW开发需求,建立包括实体图、星型模型、雪花模型、元数据模型及数据源分析的主题域数据模型,并且根据主题域数据模型开发DW逻辑模型。
DW设计实施阶段
根据DW的逻辑模型设计DW体系结构;设计DW域物理数据库,用武力数据库元数据装载面向最终用户的元数据库;为DW中每个目标字段确定他在业务系统或外部数据源中的数据来源;开发或购买用于抽取、清洗、转换和聚合数据等中间件程序;将数据从数据源加载到DW,并且进行测试。
DW使用维护阶段
DW投入使用,且在使用中改进、维护DW;对DW进行评价,为下一个循环开发提供依据。
DW的使用就是在DW中建立决策支持系统应用,这与业务处理系统应用环境有本质的区别,这也导致DW开发与传统的OLTP系统开发载开发出发点、需求确定、开发过程中有相当大的不同。
数据仓库的开发是从数据出发的
创建DW是在原有的数据库系统中的数据基础上进行的,即从存在于操作性环境的数据出发,进行DW的创建工作,我们称之为“数据驱动”。
数据驱动设计方法的中心是利用数据模型有效的识别原有的数据库中的数据和DW中主题的数据“共同性”。
DW使用的需求不能再开发初期完全明确
面向应用的数据库系统设计往往有一组教确定的应用需求,这是数据库系统设计的出发点和基础。而在数据仓库环境中,并不存在操做型环境中的固定的且较确切的物流、数据流、和信息流,数据分析处理的需求更加灵活,更没有固定的模式,甚至用户自己也对所要进行的分析处理不能事先全部确定。因而在DW开发初期不能明确了解DW用户的全部使用需求。
数据仓库的开发是一个不断循环的过程,是启发式的开发
DW的开发是一个动态反馈和循环的过程,一方面DW的数据内容、结构、力度、分割以及其他物理设计应该根据用户所返回的信息不断的调整和完善,以提高系统的效率和性能;另一方面,通过不断理解用户的分析需求,不断的调整和完善,以求向用户提供更准确、更有效的决策信息。
数据仓库开发的方法论
建立一个DW一般需做以下五个方面的工作:
1、任务和环境的评估。
2、需求的收集和分析。
3、构造DW。
4、DW技术的培训。
5、回顾、总结和再发展。
任务和环境的评估
1、目标:因为数据仓库是建立在原有的运行系统之上的,因此要结合单位的现状来明确数据仓库的目标任务。了解数据源所在系统和其中数据的状况、数据类型、工作平台、数据量、数据质量、DW的环境、网络技术状况。
2、目的: ⑴看DW的任务是否可行。
⑵所建立的DW是否是用户所期望的。
⑶有没有不逾越的障碍。
⑷确