1 / 6
文档名称:

ETL构建数据仓库五步法.docx

格式:docx   大小:21KB   页数:6页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

ETL构建数据仓库五步法.docx

上传人:cby201601 2021/5/4 文件大小:21 KB

下载得到文件列表

ETL构建数据仓库五步法.docx

文档介绍

文档介绍:ETL构建数据仓库五步法
在数据仓库构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线,包括了从数据清洗,整合, 到转换,加载等的各个过程,如果说数据仓库是一座大厦,刃陷ETL就是大厦的根基,ETL抽取整 合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用, 必须摆到十分重要的位置。
一、什么是ETL
ETL是数据抽取(Extract)、转换(Transform )、加载(Load )的简写,它是将OLTP系统中 的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓 库中。简而言之ETL是完成从OLTP系统到OLAP系统的过程(图一 : )。
二、数据仓库的架构
源,为了便于多维分析和多角度展现
数据仓库(DataWarehouse\DW )是基于OLTP系统的娄 将其数据按特定的模式进行存储而建立的关系型数据库,它不同于多维数据库,数据仓库中的老 是细节的,集成的,数据仓库是面向主题的,是以OLAP系统为分析目的。它包括星型架构(图二:
)与雪花型架构(图三: ),其中星型架构中间为事实表,四周为维度表,弟以 星星;雪花型架构中间为事实表,两边的维度表可以再有其关联子表,而在星型中只允许一张表作 为维度表与事实表关联,雪花型一维度可以有多张表,而星型不可以。考虑到效率时,星型聚合快, 效率高,不过雪花型结构明确,便于与OLTP系统交互。在实际项目中,我们将综合运用星型架构 与雪花型架构.
三、ETL构建企业级数据仓库五步法的流程
(一)、确定主题
即确定数据分析或前端展现的某一方面的分析主题,例如我们分析某年某月某一地区的啤酒销售情
况,就是一个主题。主题要体现某一方面的各分析角度(维度)和统计数值型数据(量度),确定
集市体现了某一方面的信息,
主题时要综合考虑,一个主题在数据仓库中即为一个数据集市, 多个数据集市构成了数据仓库。
(二)、确定量度
在确定了主题以后,,
将该数据汇总,或者将该
取次数,独立次数或取最大最小值等,这样的数据称之为量度。量度
是要统计的指标,必须事先选择恰当,基于不同的量度可以进行复杂关键性能寸箭示(KPI)等的计
算。
(三)、确定事实
在确定了量度之后我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况,考虑到量度的聚
合程度不同,我们将采用"最粒度原则”,即将量度的粒度设置到最小,例如我们将按照时间对
销售额进行汇总,目前的
最小记录到天,即
库中记录了每天的交易额,那么我们不能在
ETL时将数据进行按月或年汇总,需要保持到天,以便于后续对天进行分析◎而且我们不必担心啜
提前汇总了。
据量和数据没有提前汇总带来的问题,因为在后续的建立CUBE时已经将 (四)、确定维度
维度是要分析的各个角度,例如我们希望按照时间,或者按照地区,或者按照产品进行分析,那么
这里的时间、地区、产品就是相应的维度,基于不同的维度我们可以看到各量度的汇总情况,我们 可以基于所有的维度进行交叉分析。这里我们首先要确定维度的层次(Hierarchy )和级别(Level)