文档介绍：交通管理数据仓库及辅助决策系统
数据仓库建设汇报
提纲
建设思路
数据存储
抽取思路
仓库设计
建设思路
采用自上而下的建设思路。即先从数据集市入手,就某一个特定的主题先做数据集市,再建设数据仓库。
数据存储-ODS
各业务数据,根据数据分析,有选择性的通过ETL进入ODS
数据存储-DW
ODS中的数据,根据数据集市设计,通过ETL进入DW
抽取思路---策略
抽取策略:全量抽取与增量抽取
全量抽取可以采用完全抽取的方式,将需要的数据经过必要的转换全部抽取出来
增量抽取是将自上次抽取后,发生变化的数据(新增、修改)经过必要的转换抽取出来。
抽取思路---基本方案
基本方案
事实表抽取转换
首次抽取实行全量抽取,然后一定周期内实行增量抽取,而增量抽取时;执行了一定周期的增量抽取后,原则上需要重新全量抽取一次,再执行增量抽取。
无变化维表转换
如果属性值发生了变化,抽取时采用更新的方式同步变化内容。
缓慢变化维表转换
1、覆盖(在维表中只保留最后状态的数据)
2、全历史记录(在维表中保留所有的历史记录)
仓库设计
采用星型架构的维度建模法
仓库设计
事实表
按照每个业务数据需要,存储主要的维度信息与度量信息,以及一些需要的描述信息。
目前由于没有确定的需求,事实表是根据通用性来设计,即分析数据的所有可分析角度和可分析指标,全部存储到事实表中,分析时根据需要建立集市。
事实表里,主键采用NUMBER型,维度表的代理键也全部采用NUMBER型。主要是为了数据存储时节省空间,也为了在事实表与维度表关联时加快速度。
仓库设计
维度表
维度表为事实的各个分析角度
主键,使用number型,作为事实表的引用外键。
每个维度表的字段数可以适量的多,但是记录数尽可能的少。