文档介绍：大数据处理平台
提纲
大数据时代
离线大数据处理平台
面临的主要问题
离线大数据处理平台部分功能概览
结语
大数据时代的挑战
数据关联性
·社交网络、用户行为、购买关系
企业内外IT系统的整合
·数据规模爆炸式增长
处理能力‘结构化与结构化数据并存、噪声增多
·组合离线在线流式等多项计算能力提供解决方案
在大数据上应用传统統计学和数据挖掘算法
数据安全
用户隐私保护、商业数据泄漏、复杂的访问控制需求
·企业发展的达摩克利斯之剑
商业模式‘如何利用大数据盈利
·数据驱动的新业务模式与企业传统业务模式的冲突
离线大数据处理平台
ODPS(Open Data Processing Service)
支持海量结构化数据的离线存储和计算
以 RESTful apie的方式提供服务
基于阿里巴巴自主知识产权的分布式操作系统
支持高吞吐量的数据上传下载服务
支持SQL和存储过程
支持 MapReduce、BSP编程框架
支持常用的矩阵运算和数据挖掘算法
支持多用户管理和基于ACL和 policy的权限控制
基于ODPS可以打造完整的数据仓库解决方案
面临的主要问题
首先需要提供一个高效稳定的离线存储和计算引擎
如何支撑5万、15万台以上的机群规模
·多集群架构,运维和管理系统
如何在一个平台上支持多个组织的多个用户进行开发?
多租户支持,安全隔离,权限控制
如何了解业务运行状态?
·元数据管理,指标系统
如何管理不同种类的任务
·服务化,统计算入口,可度量和控制的计算资源
准实时查询,R-ODPS,…,我们还在继续探索
高效稳定的计算模型
SQL、 Map Reduce仍然是离线运算的主
但是,
频繁O带来的性能瓶颈
模型描述能力的局限.
准实时查询
优势
FUxi M
·避免lO消耗
节约调度成本
劣势:
Execute
Failover
资源占用
数据规模
CGServiceworker
ReduceThsk
Executor
适用场景:
JobPool
Ad hoc分析
图编程
注,|步
功能:
·统一的API、授权、数据存储、meta
Master-slave, worker负责子图
进程
通过迭代在节点间通讯和修改图拓扑
1…n
挑战:
超步
数据倾斜时的内存控制
与其他类型作业共存
错误恢复
优势
方便处理图数据
多轮迭代性能远好于MR
应用场景
推荐、社交网络、物流、
利用图编程买现SP弹法(件
GraphLoader-图加载基类
oublic static class SSSPGraphLoader extends
Graph Loader< LongWritable, LongWritable, Long Writable, LongWritable>(
***@Override
public void load(Recordrecord, Mutation Context<.> context)(
SSSPVertex vertex= new SSSPVertexO
(LongWritable)record get(o)
Stringl edges =record. get(). toString(). split(", ")
for(inti=o; i< edges. length; i++)
Stringl ss= edges i] split(
vertexaddEdge(new LongWritable( Long parse Long(ss(o/),
new Long Writable( Long parseLong(ss(i])))
context. addvertexRequest(vertex)
利用图编程买现SP弹法(2
Vertex-点基类
ublicstatic class ssspvertex extends
Vertex<LongWritable, LongWritable, Longwritable, Longwritable
***@Override
publicvoid compute( Compute Context<.> context, Iterable messages)(
long minDist=(getld(==1)? o: IntegeR MAX_VALUE;
for (Long Writable msg: messages)(
if(msg< minDist)(
this setval