阿里巴巴离线大数据处理平台.ppt

文档介绍：提纲大数据时代大数据时代的挑战阿里巴巴的大数据产品探索淘宝贷款解决小微企业贷款难的问题:金额高流程长授信难周期长完全以数据驱动的产品对既有数据进行二次挖掘颠覆原有业务模式规模优势阿里巴巴大数据事业部阿里巴巴离线大数据处理平台ODPS(OpenDataProcessingService)支持海量结构化数据的离线存储和计算以RESTfulAPI的方式提供服务基于阿里巴巴自主知识产权的分布式操作系统支持高吞吐量的数据上传下载服务支持SQL和存储过程支持MapReduce、BSP编程框架支持常用的矩阵运算和数据挖掘算法支持多用户管理和基于ACL和policy的权限控制基于ODPS可以打造完整的数据仓库解决方案我们面临的主要问题高效稳定的计算模型SQL、MapReduce仍然是离线运算的主流,但是,频繁IO带来的性能瓶颈…模型描述能力的局限…准实时查询优势:避免IO消耗节约调度成本劣势:Failover资源占用数据规模适用场景:Adhoc分析