文档介绍：该【ETL数据抽取实施方案简介】是由【雨林书屋】上传分享，文档一共【20】页，该文档可以免费在线阅读，需要了解更多关于【ETL数据抽取实施方案简介】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。ETL数据抽取实行方案简介
ETL数据抽取方案简介
1
ETL数据抽取实行方案简介
目录
ETL简介3
ETL抽取方案4
1...............................................................
数据抽取4
2.
数据变换和加工................................................
8
3.
数据装载......................................................
9
4.
时间戳方式....................................................
错误!不决义书
签。
5.
全量删除插入方式..............................................
错误!不决义书
签。
6.
全量比对方式..................................................
错误!不决义书
签。
2
ETL数据抽取实行方案简介
ETL简介
数据集成是把不同样本源、格式和特色的数据在逻辑上或物理上有机
地集中,从而供应全面的数据共享,是企业商务智能、数据库房系统的
重要构成部分。ETL是企业数据集成的主要解决方案。
ETL中三个字母分别代表的是变换、加载。

Extract、Transform、Load,即抽取、
1)数据抽取:从源数据源系统抽取目的数据源系统需要的数据;
2)数据变换:将从源数据源获取的数据依照业务需求,变换成目的数据源要求的形式,并对错误、不一致的数据进行冲洗和加工;
3)数据加载:将变换后的数据装载到目的数据源。
ETL作为成立数据库房的一个环节,负责将分布的、异构数据源中
的数据如关系数据、平面数据文件等抽取来暂时中间层后进行冲洗、转
换、集成,最后加载到数据库房或数据市集中,成为联机分析办理、数
据发掘的基础。此刻愈来愈多地将ETL应用于一般信息系统数据的迁
移、交换和同步。一个简单ETL流程如图1所示。
数据
文件目
抽转加
其余
暂时
3
ETL数据抽取实行方案简介
图1
ETL抽取方案
ETL过程中的主要环节就是数据抽取、数据变换和加工、数据装载。
为了实现这些功能,ETL工具会进行一些功能上的扩大,比方工作流、
调换引擎、规则引擎、脚本支持、统计信息等。
数据抽取
数据抽取是从数据源中抽取数据的过程。实质应用中,数据源很多
采纳的是关系数据库。
从数据库中抽取数据一般有以下几种方式:
全量抽取
全量抽取近似于数据迁徙或数据复制,它将数据源中的表或视图的
数据纹丝没动的从数
据库中抽拿出来,并变换成自己的ETL工具可以识其余格式。全量
抽取比较简单。
4
ETL数据抽取实行方案简介
增量抽取
增量抽取只抽取自前一次抽取以来数据库中要抽取的表中新增或更正
的数据。在ETL使用过程中,增量抽取较全量抽取应用更广。如何捕获
变化的数据是增量抽取的重点。对捕获方法一般有两点要求:正确性,
可以将业务系统中的变化数据按必然的频率正确地捕获到;性能,不可以
对业务系统造成太大的压力,影响现有业务。目前增量数据抽取中常用
的捕获变化数据的方法有:
触发器方式(又称快照式)
在要抽取的表上成立需要的触发器,一般要成立插入、更正、删除
三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的
数据写入一个暂时表,抽取线程从暂时表中抽取数据,暂时表中抽取过
的数据被标志或删除。
长处:数据抽取的性能高,ETL加载规则简单,速度快,不需要修
改业务系统表结构,可以实现数据的递加添载。
弊端:要求业务表成立触发器,对业务系统有必然的影响,简单对
源数据库构成威迫。
时间戳方式
它是一种基于快照比较的变化数据捕获方式,在源表上增添一个时
间戳字段,系统中更新更正表数据的时候,同时更正时间戳字段的值。
当进行数据抽取时,经过比较前一次抽取时间与时间戳字段的值来决定抽
取哪些数据。有的数据库的时间戳支持自动更新,即表的其余字段的数
据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的
5