文档介绍：数据仓库1-数据仓库概述
POWERPOINT
1
8
两者有何不同?
数据库:存放数据的地方。
数据仓库:存放数据的地方。
9
数据处理的类型
数据仓库1-数据仓库概述
POWERPOINT
1
8
两者有何不同?
数据库:存放数据的地方。
数据仓库:存放数据的地方。
9
数据处理的类型
操作型处理(OLTP):数据的收集、整理、存储、查询和增、删、改操作。
分析型处理(OLAP):数据的再加工,往往要访问大量的历史数据,进行复杂的统计分析。
10
是数据库系统的主要应用
特点:数据存取频率高、响应时间要快、
存取数据量小、数据存储正确可靠。
系统基本架构:
数据库
用户
用户
用户
数据库管理系统
应用系统
11
为了有效地对事务进行处理,数据库管理系统在技术和管理上采取了很多措施:
提出了事务的概念
采用日志、备份等恢复技术和并发控制技术
采用索引技术快速定位数据
12
在数据库设计中
广泛采用了规范化理论,消除表中属性间的部分函数依赖和传递函数依赖。
消除了数据的冗余,缩短了数据处理时间。
13
典型的分析型应用就是决策支持系统。
需要具备的基本功能是:建立各种数学模型,对数据统计分析,得出有用的信息作为决策的依据。
14
常规应用实例:某产品的销售经理希望通过调整该产品在各零售店的分配数量来扩大其销售量。
需要查询历史数据库中各类零售店最近若干年(例如5年)内每天的销售记录。
统计运算计算出近5年来各店的年度销售量。
比较确定销售量增长较快的零售店。
15
决策支持系统:需要花数小时甚至更长时间的处理、需要遍历数据库中的大部分数据,进行复杂的计算,需要消耗大量的系统资源。
16
操作型数据
分析型数据
细节的
综合的,或提炼的
当前数据
历史数据
更新的
不可更新,只读的
生命周期符合SDLC
(软件开发生命周期)
完全不同的生命周期
对性能要求高
对性能要求宽松
一个时刻操作一个单元
一个时刻操作一个集合
事务驱动
分析驱动
面向应用
面向分析
一次操作数据量小,计算简单
一次操作数据量大,计算复杂
支持日常操作
支持管理需求
17
传统的数据库系统在操作型数据处理应用中取得了巨大的成功。
将其应用到分析型数据处理方面却无能为力。
18
信息系统建设的阶段性和分布性的特点,
导致“信息孤岛”的存在。
19
20
(续)
1)数据的分散
联机事务处理系统一般只需要与本部门业务相关的当前数据。
企业内部各应用之间实际上几乎都是独立的。
21
2)“蜘蛛网”问题
解决数据分散的一种方法就是对数据进行集成
抽取程序带来了“蜘蛛网”问题,即需要在抽取的数据中再次抽取,将导致企业数据之间形成错综复杂的网状结构。
22
3)数据不一致问题
由于数据分散,导致多个应用间的数据不一致:
同一字段在不同应用中具有不同的数据类型
同一字段在不同应用中具有不同的名字
字段名字相同,但含义不同
23
4)数据动态集成问题
数据集成开销很大。一些应用仅在开始时对进行集成,以后一直以这部分集成数据作为分析基础,称为静态集成。导致决策者使用过时数据。
如果希望能够用上最新数据,每次分析之前都进行数据集成,称为动态集成。联机事务处理系统不具备动态集成能力。
24
5)历史数据问题
联机事务处理一般只需要当前数据,数据库适于存储高度结构化的日常事务细节数据。
决策型数据多为历史性、汇总性或计算性数据。
25
6)数据的综合问题
联机事务处理系统中积累了大量的细节数据,决策支持系统并不对细节数据进行分析。
决策分析环境中,细节数据量太大一方面会严重影响分析效率,另一方面这些细节数据会分散决策者的注意力。
因此分析前,需要对细节数据进行不同程度的综合。
26
结论
要提高分析和决策的效率和有效性,必须把分析数据从事务处理环境中提取出来,按照决策支持系统处理的需要进行重新组织,建立单独