文档介绍：常绪刚(Tommy)
数据仓库中的ETL和Metadata
日程
数据仓库简介
元数据的实际问题
元数据与维护数据仓库
数据仓库简介
数据仓库是……
数据仓库是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程
元数据组成(Meta data)
业务系统到数据仓库数据仓库数据展现工具
ETL Target Database Front-End Tool
数据采集
数据传输
数据转换
数据清洗
数据加载
数据汇总
数据模型
人事
销售
库存
财务
RDBMS
ODS/Staging Area
RDBMS
数据仓库
数据集市
企业经营
分析
客户关系
管理
业务流程
分析
财务分析
Metadata
外部系统
Statistics
Clustering
s
Artificial
Intelligence
业务
股东
管理
OLAP
“维”
Keys
属性
Facts
地点 Table
时间 Table
产品 Table
客户 Table
Many Records...
数据仓库不是……
某种具体的产品
简单的数据物理集中
只能输入而不能输出的仓库
报表中心
可以一期到位的工程
业务分析专家的替代品
……
术语解释
ETL(Extract/Transform/Loading)是数据从业务系统抽取转化到数据仓库的过程
Metadata可以理解成Data about data,关于数据的数据
术语解释
OLAP(On-Line Analytical Processing)面向分析的在线处理
OLTP(On-Line Transactional Processing)面向交易的在线处理
术语解释
数据集市则是范围较小,面对单一主题或部门,同样是为了查询、报表、分析等目的进行优化
ODS(Operational Data Store)通常作为混合性可操作数据源
Staging Area是数据处理区域,为了实现ETL过程的临时存储
数据挖掘是通过一些数学方法对数据进行深层次的分析从而发现其规律