文档介绍：广西移动深度运营平台Project
数据建模设计文档
Current Version:
Owner:
Date Last Updated:
2007-12-20
Last Updated By:
Author:
LI Bo Yuan
Date Created:
2007-12-20
Approved By:
Approval Date:
Revision History
Version Number
Date Updated
Revision Author
Brief Description of Changes
2007-12-20
Li Bo Yuan
Create Revision
Table of Contents
1 数据建模设计介绍 4
数据建模设计原则 4
ODS数据的主要功能模块 5
ODS数据模型设计原则 6
ODS数据模型设计步骤 6
数据建模命名规范 7
简写、缩写规则和简写列表样例 8
简写列表样例 8
2 ODS模型说明 10
ODS数据模型 10
ODS Subject Area说明 10
ODS 数据库表的说明 11
ODS 数据传输周期 22
ODS 唯一索引与索引分布情况 24
数据建模设计介绍
在数据仓库/商业智能的项目中,主要涉及的任务和它们之间的关系如下图所示。数据建模在其中比较重要,是数据映射、以及以后的ETL和前端的开发工作的基础。在这一章就对广西移动深度运营项目中的数据建模设计做一个介绍。
数据建模设计原则
本项目的系统架构如下图所示,需要本项目数据建模的模块是ods和Data Mart。
数据模型的设计是一个迭代、调优的过程,是平衡业务需求、已有的数据、系统的性能等因素的过程。这个过程中采用的一些设计原则,是接下来开展各期项目的一个参考。
ODS数据的主要功能模块
数据挖掘部分所需要的月汇总数据,包含统一数据图,与客户画像
营销系统所需的数据
对KPI指标项所需汇总的支持所需数据
广西移动业务主数据
China Mobile gx System of Record
企业维度总线BUS&主数据
汇总的KPI数据项
第三方的数据源(来自华为飞信平台)等
应用数据
数据挖掘项数据准备区
ods的数据有不同的功能,因此分为不同的模块。在本期项目中,ods内部的数据,按照它们的功能可以分为如下的几块:
ODS数据模型设计原则
ODS系统的特征,要求在设计数据模型时,要坚持2个基本的出发点:
面向主题的、集成的、可变的、当前的细节数据集合。
用于支持企业对即时性、操作性、集成的全体信息的需求
ODS的数据特征,要求数据模型坚持如下的2个要点:
在业务系统与数据仓库系统之间形成一个隔离层
转移一部分业务系统细节查询功能
完成数据仓库中不能完成的一些功能
基于以上原则设计的ODS模型,从不同的角度来讲,也有一些缺点:
对于业务用户来说,这个模型与业务系统的模型差不多
查询的性能会因为多个join受影响.
保存周期时间短,不利于历史查询
ODS数据模型设计步骤
ODS数据模型的设计步骤,借鉴数据仓库之父 Bill Inmon的方法。根据广西移动的具体状况,具体的大步骤有2个。第一个步骤是建立业务实体之间的关系;第二步是根据ODS的特殊需求,进行调优的过程;具体如下:
建立描述基本业务关系的ER模型
根据本期项目范围的数据需要确定主题域.
在主题域中确定需要的实体.
确定实体之间的关系
增加属性.
确认模型的结构.
确认模型的内容.
基于基本的ER模型,根据ODS的特征,增强模型
分析需求
增加需要的数据
增加时间因素,确定数据传输周期
增加时间因素,确定数据保存周期
增加时间因素、确定数据增量全量传输
增加导出的数据
确定数据的粒度
系统性能需求
汇总数据
合并实体
如果对一个业务流程总体进行分析,将多个实体字段组合成一个实体(如Order流程)
如果数据量太大,数据分区(如partition)
数据建模命名规范
数据模型中的对象的命名规范,以SGM已有的规范为标准:
数据模型的对象命名采用英文,基于如下原则:
格式: XX_NAME_YYY (如无必要,前缀、后缀可无)
XX: 前缀
Name: 有意义的单词或简称
YY: 后缀
数据库表名称采用英文大写,多个单词之间使用下划线连接
字段名称采用英文小写,多个单词之间使用下划线连接
一些主要的前缀,列表如下:
T