文档介绍：-
. z.
中国外汇交易中心数据仓库一期工程建议
第二册 技术局部
安讯软件〔**〕**
****年**月**日
-
. 时，业务人员也能同报表进展交互，检索出自己需要的数据。
物理架构
对于本，外币不同的数据源，以及不同的物理子系统，根本的物理架构如下：
物理架构说明：
本外币数据库向仓库提供对应的数据
仓库为对应的报表效劳器提供统一的视图。
权限报表效劳器部署到同一机器上。
数据架构
数据流说明：
首先从本外币或者其他系统获得对应的数据.
经过ETL对数据进展加工，清洗和标准化。
将已经标准化和模型化的数据进入到数据仓库，或者提供需要的数据文件。
数据仓库对外暴露数据模型和数据视图以及sql接口。
数据仓库为报表管理系统和下游系统提供所需要的数据
报表管理系统展现对应数据的报表。
系统技术实现方案
总体技术实现方案
充分考虑到CFETS系统存在在本外币等多种数据源，且数据源分散，多分散子系统的情况，同时各个子系统中存在统计口径不一致，影响统一的决策和各个部门信息的一致性。在使用的过程中，会员信息维护复杂，且各个系统各自维护一套对应的会员信息，导致会员维护工作量加大。数据仓库一期需求大致可以分成数据库架构的建立、ETL机制的建立、以及报表分析架构的建立和报表实施。系统可以分成数据仓库和报表系统两大局部。以下是我们建议的系统架构概念图：
-
. z.
系统包含一个双机组成的数据仓库，和一个双机组成的报表效劳平台。数据仓库和报表效劳器分别带有自己的外存磁盘阵列。架构中的每个功能节点设计都含冗余度，保证系统不存在单一失败点，满足提供7*24不连续效劳的要求。
在系统架构不变的前提下，系统的每局部可以用不同的技术实现。比方，数据库管理系统可以使用Oracle的技术，也可以使用IBM的技术。报表技术建议使用Actuate 9。
使用我们建议的应用软件，这样的系统架构会有很强的可扩展性，用户可以通过增加硬件的方式扩容，以支持越来越多的用户和应用。
总体方案通过以下步骤实现数据到可用信息的转换：
通过ETL手段对不同的数据源数据进展抽取，转换，清洗，数据格式化。
通过ETL转化后的数据统一进入数据仓库，形成统一的数据视图。
进入数据仓库的数据模型可以为报表平台提供对应的数据来源。
通过认证的用户可以登陆报表平台消费和设计对应的报表。
高效的ETL处理
ETL总体处理流程
ETL处理流程：
从本币数据源或其他数据源中抽取需要的数据。
ETL对抽取到的数据进展必要的增量处理，生成一天的增量数据。
ETL对增量数据进展技术性检核、标准化、转换。
产生LDM落地数据文件。
落地数据文件下发到下游系统，同时进展数据入库。
整个ETL处理过程进展异常处理及监控。
ETL实施我们建议采用成熟的ETL工具，所选ETL工具需要满足如下根本要求：
〔1〕技术架构
1) 支持所有的主流平台
2) 模块化的架构设计，可按需进展模块添加和扩展
3) 具有错误恢复逻辑的功能
-
. z.
4) 支持并行处理
〔2〕 核心功能
1) 支持本地数据访问模式
2) 支持星型模式
3) 支持打包应用〔例如SAP〕
4) 支持根本处理〔例如SQL〕
5) 具有数据自动转换和清洗功能
6) 支持实时ETL和按需ETL
7) 具有自动错误预警功能
〔3〕 开发环境
1) 图形化界面
2) 支持命令行
3) 便于调试和维护
4) 具有代码版本控制功能
〔4〕 ETL管理
1) 支持集中管理
2) 自动产生每日ETL运行报表
3) 具有ETL自动和手工调度功能
我们相信商业ETL工具中INFORMATICA会是一个很好的选择，开源ETL产品Kettle则是INFORMATICA之外一个很好的备选。
数据仓库模型设计
数据建模
建模过程：〔以常用会计报表为例〕
用户需要查看基于时间、机构和科目的报表。
建立以数据事实表为中心，需要时间、机构和度量作为其维度。
建立好如上的星型模型后，可发现模型具有如下优点。
灵活的数据查询，可基于时间查询对应的日报，月报和季报。
效率最优化，需要查询机构信息，则通过机构和事实表关联即可完成。
-
. z.
数据质量管理
数据仓库对数据质量的要求
数据仓库对数据质量的要求总体上归纳为：数据完整性，包括数据源是否完整、数据取值是否完整