文档介绍：第四章操作数据存储(ODS)及 DW的联机分析处理(OLAP)
ODS的基本概念
DB-ODS-DW体系结构
OLAP技术概述
多维数据模型的OLAP操作
ODS的基本概念
DW的贡献在于:明确提出操作型处理和分析型处理两种不同类型的数据处理,并将两者在实际中区分开来,建立起DB-DW两层体系结构。
但在很多情况下,DB-DW的两层体系结构并不能涵盖企业所有的数据处理要求,因为操作型处理和分析型处理之间并不是泾渭分明的。
企业有许多日常管理和控制的决策问题,这些问题即不是OLTP,也不是高层决策,但却是企业中层管理者经常要做且大量的工作。
2
ODS的基本概念
【例】商场的市场经理经常要解决这样的问题,某某商品是否要进货?那么他要知道一些综合信息:该商品的存货是否充足,该商品的近期销售情况如何,商场目前的资金情况,还要比照其他商品的库存和销售情况。只有根据这些综合信息才能做出较为合理、可行的决策。
这就导致了一种新的数据环境:操作数据存储。从而形成了DB-ODS-DW的三层体系结构。
3
ODS的基本概念
定义:是一种DW的混合形式,它包含面向主题的、集成的、可变的和最近的信息。用于支持企业日常的全局应用和决策制定,其中的数据可以作为DW的通用数据源。
特点:组织方式是面向主题和集成的。
存放的数据是可变的、最近的,且可
进行联机修改。
4
ODS的基本概念
在ODS上可实行的全局应用可分为:企业级的OLTP 和即时OLAP 两种。
在ODS上可实现企业级的OLTP
企业级的OLTP同时涉及多个部门的数据。在面向应用的操作型DB环境中,企业数据绝大部分是局部的,且缺乏一致性。因此在这样的环境中进行企业级的OLTP代价很大,因为首先要集成。
5
ODS的基本概念 -ODS的功能和实现机制
ODS中的数据是面向企业全局集成的,所以建立于ODS之上的OLTP可快速实现对企业中数据的全局集中管理。
为了实现企业级OLTP,在ODS与DB之间必须要有双向映射关系,以保证双方的一致性。而维护ODS与DB间的一致性是实现企业级OLTP的关键。
6
反映的关系是ODS全局更新时所必须反映到的所有DB中相关记录的信息。
全局更新时应反映到的各DB 中的记录
定义在各DB中的记录系统
记录系统定义
参考表
分散DB环境
ODS环境
应用C
应用A
应用B
ODS和DB的双向映射关系
表达的是ODS从DB的数据抽取关系。在该记录系统上所做的任何修改操作都要反映在相应的ODS记录中。
7
ODS基本概念 -ODS的功能和实现机制
在ODS上可实现即时OLAP
即时OLAP:决策过程并不需要参考太多的历史数据,主要参考和存取及时的和最近的数据,并要求有较快的响应速度。
即时OLAP 是建立ODS的主要目的之一。一般在DW上实现OLAP是为了进行长期趋势分析,由于DW中数据量十分庞大,OLAP运行时间都较长,所以即时OLAP不适宜在DW上进行。而ODS的数据量远较DW小,因此可以迅速获得决策信息。
8
ODS基本概念 -ODS的功能和实现机制
在ODS环境中即可进行企业级OLTP,又可实现即时OLAP。两种不同的数据处理需要不同的工作模式,技术支持也存在很大的差别。
解决的办法:引入“动态切换”,即在系统中设置一个状态切换开关,使ODS系统在操作型环境和分析型环境之间进行动态切换。
9
【例】学校中有关教员的完整信息是被分散存放在学校的各部门DB中,现在若有教员因故调离,则要按规章办理手续。在DBS中,调离手续繁琐耗时。而在ODS系统中,可以开发教员调离全局应用,这就等于将学校的有关调离手续的规章反映在应用系统中,从而自动地保证了规定的制度得以不折不扣地执行。
DB
人事处
校医院
DB
财务处
房管处
DB
科研处
ODS
部门应用
部门应用
部门应用
部门应用
部门应用
10