文档介绍：大数据平台建设方案
大数据平台建设方案
第1页
三、大数据平台建设方案
二、主流技术比较
一、大数据介绍
目录
大数据平台建设方案
第2页
进行分布式存放和处理软件框架
大数据平台建设方案
第8页
大数据三大技术比较
面对海量种类繁多数据进行实时数据分析和离线数据分析，仅有传统数据库技术已不适用，需要针对不一样数据场景选择不一样技术伎俩。
MPP数据库：适合结构化数据深度分析、复杂查询以及多变自助分析类应用、数据集市等。
Hadoop ：适合海量数据存放查询(详单存放和查询)、批量数据ETL、非结构化数据分析(日志分析、文本分析)等。
传统数据库：在复杂关联、汇总、事务处理方面能力强，适合数据量小、高可靠、数据价值密度高应用。
大数据平台建设方案
第9页
大数据目标架构
数据处理层（数据存放、数据计算、数据共享）
基础数据资源池（HADOOP）
Map/Reduce2
HIVE
Hbase
HDFS
分析数据资源池（MPP）
分布式关系数据仓库
SPARK
Shark
YARN
统一调度
流处理资源池
分布式
内存数据库
实时行为识别
复杂事件处理
框架
实时模型计算
任务调度
资源管理
统一作业
数据管理
元数据管理
数据质量管理
经分数据模型计算
网络数据模型计算
管理分析模型计算
…
数据调度
Hadoop平台软件布署于Hadoop大数据处理集群，实现海量非结构化数据存放与处理以及结构化数据垂直汇总。
在当前数据种类繁多、数据处理复杂情形下，不适合采取一个单一技术处理全部问题，大数据平台据需要采取Hadoop资源池、MPP数据库、流处理资源池混搭大数据技术架构
数据平台基于MPP、Hadoop、流处理等云计算、大数据技术
流数据与复杂事件处理（CEP）规则引擎平台用于对数据流进行实时处理，实现对高速数据流接入与实时处理，实时探测关键事件
MPP数据库用于结构化数据关联分析。
一体机资源池
(DW)
OLAP应用
DW数据库用于分析处理统计分析类OLAP应用
大数据平台建设方案
第10页
三、大数据平台建设思绪
二、主流技术比较
一、大数据介绍
目录
大数据平台建设方案
第11页
建设思绪
由易到难，稳步推进：早期以数据整合为主，逐步面向内外提供数据服务。
管控架构，同时推进：同时推进数据标准化和组织机构变革，为大数据共享平台商用奠定基础。
自主掌控，能力内化：逐步培养自研团体，构建研发运行一体化能力。
大数据平台建设方案
第12页
大数据平台架构
企业级省大数据平台技术架构包含数据采集、数据存放与计算层、开发框架和应用中心四层，同时包含统一运维管理为各类使用人员提供服务。在大数据技术架构中数据存放和计算是紧密相连。
大数据平台建设方案
第13页
建设重点1——与其它分析型平台关系
大数据共享平台：
全网XDR数据采集、标准化、全量存放（1个月）
全网网管数据采集、标准化、全量存放
大数据共享平台实现负责xDR数据和网管数据统一集中采集和预处理；提供上层应用对xDR细粒度数据查询响应。
按应用需求进行多维度小粒度汇总、数据整合、存放
提供明细数据查询、轻度汇总数据查询。
性能管理系统：
从大数据共享平台获取应用所需全量小时汇总数据。
数据缓存层：负责对来自于大数据共享平台数据进行深入处理和缓存；为应用层提供各种汇总数据存放、处理与共享，以及综合分析与深度挖掘。
应用层：承载上层各类应用软件和第三方应用，实现上层应用。
大数据平台建设方案
第14页
第 14 页
2G
3G
4G
WLAN
Network
Data acquisition
Data parsing
Data storage
Application
E1 Interface
Signaling Parsing
DPI Processing
Traffic Identify
CDR Fusion
ATM Interface
FE/GE Interface
Data storage and data service for each application system
Performance Analysis
Behavior
Analysis
Data Operation
Industry Applic