文档介绍：数据仓库数据据仓库原理
(1)数据仓库是基于整个企业的数据模型建立的,它面向企业范围内的主题。而数据集市是按照某一特定部门的数据模型建立的。
(2)部门的主题与企业的主题之间可能存在关联,也可能不存在关联。数据仓库数据据仓库原理
(1)数据仓库是基于整个企业的数据模型建立的,它面向企业范围内的主题。而数据集市是按照某一特定部门的数据模型建立的。
(2)部门的主题与企业的主题之间可能存在关联,也可能不存在关联。
(3)数据集市的数据组织一般采用星型模型。
大型数据仓库的数据组织,如NCR公司采用第三范式。
8
1、规模是小的
2、特定的应用
3、面向部门
4、由业务部门定义,设计和开发
5、由业务部门管理和维护
6、快速实现
7、购买较便宜
8、投资快速回收
9、更详细的、预先存在的数据仓库的摘要子集
10、可升级到完整的数据仓库
9
独立数据集市(IndependentDataMart)
从属数据集市(DependentDataMart)
10
数据仓库系统由数据仓库(DW)、仓库管理和分析工具三部分组成。
11
1、仓库管理
(1)数据建模
数据建模是建立数据仓库的数据模型。
数据仓库的数据模型不同于数据库的数据模型在于:
数据仓库只为决策分析用,不包含事务处理的数据。
数据仓库的增加了时间属性数据。
数据仓库增加了一些综合数据。
数据仓库的数据建模是适应决策用户使用的逻辑数据模型。
12
解释
数据模型不同于数学模型:
数据模型是对数据进行组织和存储结构的描述模型。如数据库的数据模型,数据仓库的数据模型。
数学模型是对数据变量的关系建立方程的描述模型。如线性规划模型。数学模型是《运筹学》中讨论的模型。
13
(2)数据抽取、转换、装载
数据仓库中的数据,是通过在源数据中抽取数据,按数据仓库的逻辑数据模型的要求进行数据转换,再按物理数据模型的要求装载到数据仓库中去。
数据抽取、转换、装载(ETL)是建立数据仓库的重要步骤,需要花费开发数据仓库70%的工作量。
14
(1)查询工具
数据仓库的查询不是指对记录级数据的查询,而是指对分析要求的查询。
一般包含:
可视化工具:以图形化方式展示数据,可以帮助了解数据的结构,关系以及动态性。
2、分析工具
15
(2)多维分析工具(OLAP工具)
通过对信息的多种可能的观察形式进行快速、一致和交互性的存取,这样便利用户对数据进行深入的分析和观察。
多维数据的每一维代表对数据的一个特定的观察视角,如时间、地域、业务等。
16
(3)数据挖掘工具
从大量数据中挖掘具有规律性知识,需要利用数据挖掘(DataMining)工具。
17
数据仓库应用是一个典型的客户/服务器(C/S)结构形式:
客户端所做的工作:客户交互、格式化查询、结果显示、报表生成等。
服务器端完成各种辅助决策的SQL查询、复杂的计算和各类综合功能等。
18
解释
客户/服务器(C/S)是网络上一种重要的组织形式。
数据仓库在网络上都是以服务器(Server)形式提供服务,能对网络上多个客户(Client)同时提供服务。
19
OLAP服务器将加强和规范化决策支持的服务工作,集中和简化了原客户端和数据仓库服务器的部分工作,降低了系统数据传输量。
这种结构形式工作效率更高。
OLAP的三层C/S结构
20
数据仓库存储采用多维数据模型。
果汁
可乐
牛奶
商品维
奶油
浴巾
香皂
北京
上海
长沙
1234567
城市维
日期维
21
维就是相同类数据的集合,商店、时间和产品都是维。各个商店的集合是一维,时间的集合是一维,商品的集合是一维。每一个商店、每一段时间、每一种商品就是某一维的一个成员。
每一个销售事实由一个特定的商品、一个特定的时间、一个特定的商品组成。
两维表,如通常的电子表格。三维构成立方体,若再增加一维,则图形很难想象,也不容易在屏幕上画出来。
22
大多数的数据仓库都采用“星型模型”。星型模型是由“事实表”(大表)以及多个“维表”(小表)所组成。
“事实表”中存放大量关于企业的事实数据(数量数据)。
例如:多个时期的数据可能会出现在同一个“事实表”中。“维表”中存放描述性数据,维表是围绕事实表建立的较小的表。
星型模型数据如下图:
23
24
订货表
客户表
销售员表
事实表
产品表
日期表
地区表
星型模型数据存储情况示意图
雪花模型对星型模型的维表进