文档介绍：精品文档
精品文档
1
精品文档
范文范例指导参考
企业数据中心系统平台
技术方案建议书
精品文档
精品文档
FS文件系统提供统一的大数据数据存储，满足全量数据留存；基
于Yarn提供跨平台的资源管理，满足资源的统一调度与管理；采用 Hadoop 实现非实时
精品文档
精品文档
17
精品文档
word版整理
精品文档
精品文档
72
精品文档
范文范例指导参考
ETL，实现海量数据的批处理，主要处理 ODS层->DWD 层->DW 层->ST层的数据处理；
视业务数据情况部分 DW层->ST层的数据处理采用 Spark计算框架实现；采用Esper和
rabbitmq 支撑流数据处理与复杂事件处理；利旧DB2提供ST层数据的存储与计算，支持
高并发的指标级数据共享。
数据共享：
数据开放共享采用基于 HTTP协议REST风格的 OpenAPI 完成同步处理与基于消息队
列（MQ）完成异步处理，实现类SOA面向服务的架构体系。支持OAuth提供一个安全的、
开放而又简易的授权协议。数据共享服务部署在集群环境中以应对高并发的访问请求，并
实现集群的负载均衡。
统一平台管控：
采用JavaEE技术，通过MVC模式（ModelViewController ，是模型－视图－控制器）
把业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在
改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。
精品文档
精品文档
19
精品文档
精品文档
精品文档
72
精品文档
word版整理
精品文档
精品文档
21
精品文档
范文范例指导参考

Mc信令（实时）数据通过Socket消息适配模块接入至 Esper计算引擎进行实时处理，
向应用提供事件 API服务，支撑实时营销应用；后期如Gn信令、LTE信令也提供实时数据，
可满足基于 Gn信令、LTE信令的实时处理。
除Mc信令（实时）数据外，Gn信令、Mc信令、自有业务订购与使用行为等数据通过非实时ETL方式装载到Hadoop的HDFS文件系统，实现全量数据留存；由Hive承担主库
的职能，实现海量数据的批处理，承载ODS->DWD->DW->ST 各层数据处理，其中 DW
层部分数据提供给 Spark，由Spark完成数据处理工作。
对外数据服务可以由不同种类的 API来完成：
1、针对诸如客户统一视图、客户标签库的数据探索查询服务：将数据加载到 Spark的
RDD中，通过API将数据共享出去；
精品文档
精品文档
22
精品文档
word版整理
精品文档
精品文档
72
精品文档
范文范例指导参考
2、针对诸如客户标签信息查询、客户详单查询类的数据查询服务（特点是通过一个
Key来查询数据）：将数据加载到 Hbase中，通过API将数据共享出去；
3、针对诸如指标数据查询、KPI数据查询服务（特点是高并发、多维度的数据查询）：
将数据加载到 DB2数据库（利旧）中，通过API将数据共享出去；
4、针对多租户的数据共享服务，；
精品文档
精品文档
24
精品文档
word版整理
精品文档
精品文档
72
精品文档
范文范例指导参考
第2章企业ETL数据处理平台

根据数据中心的建设需求，企业级的 ETL平台实现统一的数据采集、转换、加载、处理
以及统一调度、管控等功能。这里的ETL指的是广义的 ETL，具备以下的特点：
统一数据获取接入，支持B域数据、M域数据、O域数据或其他外部数据统一接入
数据中心平台。
支持结构化和非结构化数据采集、加工；对非结构化数据要实现从非结构化到结构
化的处理过程。
支持数据采集、转换、加载等关键 ,.数据处理过程，实现企业数据的标准。
从周期上，支持批量的数据采集，实时的数据采集
满足数据中心数据加工，处理以及对外提供数据分发、同步
支持全过程的数据