文档介绍：数据仓库设计编码规范()
培训大纲
一、目的和范围
二、数据仓库体系架构
三、分级存储(数据生命周期)
四、数据库对象命名规范
五、SQL编码规范
六、PL/SQL编码规范
七、代码优化规则
八、日志
2
目的和范围
目的:
好的命名规范,可以明显的增强程序的可读性和可维护性:
(1). 保障程序一致性
(2). 增强程序的可读性
(3). 增强程序可维护性
(4). 降低程序的BUG概率
(5). 提升程序可扩展性和性能
范围:
本规范主要适用于所有基于Oracle数据仓库设计开发的项目。
3
培训大纲
一、目的和范围
二、数据仓库体系架构
三、分级存储(数据生命周期)
四、数据库对象命名规范
五、SQL编码规范
六、PL/SQL编码规范
七、代码优化规则
八、日志
4
数据仓库基本概念(一)
数据仓库:
数据仓库是一个面向主题的,集成的,时变的和非易失的数据集合,支持管理部门的决策过程。
面向主题的:数据仓库围绕一些主题如顾客、供应商、产品和销售来组织。数据仓库关注决策者的数据建模与分析,而不是组织机构的日常操作和事务处理。因此,数据仓库排除对于决策支持过程无用的数据,提供特定主题的简明视图。
集成的:通常,构造数据仓库是将多个异构数据源,如关系数据库,平面文件和联机事务记录集成在一起。使用数据清理和数据集成技术确保命名约定、编码结构、属性度量等的一致性。
时变的:数据存储从历史的角度(例如过去3~5年)提供信息。数据仓库中的关键结构都隐式或显式的包含时间元素。
非易失的:数据仓库总是物理的分别存放数据;这些数据源于操作环境下的应用数据。由于这种分离,数据仓库不需要事务处理、恢复和并发控制机制。通常,它只需两种数据访问操作:数据的初始化装入和数据访问。
5
数据仓库基本概念(二)
数据仓库的三种模型:
(一)、企业数据仓库(EDW):
数据仓库收集了整个组织关于主题的所有信息,它提供企业范围内的数据集成,通常来自一个或多个操作数据库系统或外部信息提供者,并且是跨功能的。通常,它包含细节数据和汇总数据,它需要广泛的商业建模,可能需要多年设计和建设。
(二)、数据集市
数据集市包含企业范围的一个子集,针对特定的用户群和特定的主题。例如,销售数据集市可能限定其主题为顾客、商品和销售。包括在数据集市中的数据通常是汇总的。
(三)、虚拟仓库
虚拟仓库是操作数据库视图的集合。虚拟仓库易于建立,但需要操作数据库服务器具有剩余能力。
6
数据仓库基本概念(三)
ODS:
ODS是企业数据架构中最为复杂的一种形态,既要满足数据事务操作要求,又要满足数据分析要求,从技术构建角度考察,难度相当之大。其主要功能是给数据仓库提供数据,作为EDW的数据源。
ODS与数据仓库的重要区别如下:
(一)、ODS只存储明细数据。
(二)、ODS中存储的数据一般不超过一个月。
(三)、ODS支持事务更新操作。
(四)、ODS是应用系统数据库的一个延迟快照。
根据延迟时间的长度,分为:
I类ODS,实时或近似实时,与应用系统的数据延迟为1~2秒。
II类ODS,与应用系统的数据延迟为2~4小时。
III类ODS,与应用系统的数据延迟为12~24小时。
7
数据仓库体系架构图
8
数据仓库基本层次结构(一)
系统的信息模型从存储的内容方面可以分为:
(一)、STAGE接口信息模型
(二)、ODS/DWD信息模型
(三)、MID信息模型
(四)、DM(DataMart)信息模型
(五)、元数据信息模型
9
数据仓库基本层次结构(二)
在各个信息模型中存储的内容如下描述:
1) STAGE层信息模型:
提供业务系统数据文件的临时存储,数据稽核,数据质量保证,屏蔽对业务系统的干扰,对于主动数据采集方式,以文件的方式描述系统与各个专业子系统之间数据接口的内容、格式等信息。
与该模型对应的数据是各个专业系统按照该模型的定义传送来的数据文件。
STAGE是生产系统数据源的直接拷贝,由ETL过程对数据源进行直接抽取,在格式和数据定义上不作任何改变。
10