文档介绍：大数据的实时分析与应用案例分享
上海云人信息科技有限公司
个人简介
吴朱华,专注于云计算和大数据这两个方向,之前曾在
IBM 中国研究院参与过多款云计算操作系统的开发工作,
包括 PureSystem 的原型机,同济本科,并曾在北京大学
读过硕士,在 2010 年底组建上海云人科技团队,在 2011
年中发表业界最好的两本云计算书之一《云计算核心技术剖
析》,在 2013 年的 3 月被福布斯评为中国 30 岁以下 30
位创业者。
《云计算核心技术剖析》
大数据的时代
来自麦肯锡的报告,未来的 10 年里,数据和内容将增长
44 倍,并且这些数据有无法估量的价值;
对于很多以数据为资产的行业, BI 决定公司的核心竞争力。
比如互联网广告,金融机构,大数据实时分析工具对他们而
言,就等同于竞争武器,快或慢一秒钟,往往就意味着财富
的得与失。
对传统行业来说,大数据的冲击来自三个方面:数据终端数
量的增长,例如智能电网和物联网;数据维度的变化,例如
消费行为与社交网络的关联;商业模式和管理模式的变化:
例如从产品消费到信用营销,从经验和直觉决策到数据智能
决策。三个因素组织在一起,使大数据发生了几何级数的增
长。
大数据需求
业务
终端数量激增 BI 决定核心竞争
新兴力
社交网络
例如智能电网:
电商实时
一个业务系统每大
数据挖掘
天 20 亿条记录
,广告跟
大快踪
部署
传统简单新兴
行业
例如电信账单分阿里巴巴:从商品销
拣:从两周到一天售到保险信贷转型
快快
商业模式转变竞争格局改变
传统
大数据的阶段
第一个阶段:自身业务需求产生大量数据,利用这些数据,
通过深入证析,优化相关业务;
第二个阶段:搜集与目标业务直接或间接关联的大量异质数
据,建立复杂的分析和预测模型,产生针对目标业务的输出
;
第三个阶段:随着整体数据相关的法律不断补充,以及技术
不断成熟,形成一个完善的数据生态,包括数据市场,数据
运营商和数据商店等。
从技术角度而言,趋势是更实时,越快越好,更全面数据分
析需求,包括 SQL 、挖掘算法,以及以 Deep Learning
为代表机器学习技术。
大数据实时分析的目的
实时决策能力;
提高业务效率;
快速智能发现新观点和商业机会;
提供业务产出;
提升 IT 效率;
大数据实时分析所需的技术支
撑
大数据秒级,甚至毫秒级的处理;
上千人的并发访问;
支持 SQL 标准,特别是 OLAP 相关的语句;
数据的安全和集群的稳定型;
大数据实时分析的技术选型
Hadoop 系列: Hive , Impala ;
NoSQL 类别: MongoDB , HBase ;
传统关系型数据库: Oracle , DB2 , MySQL ;
传统列式数据库: Infobright , DB ;
新一代基于内存计算的数据库?
技术选型的对比图
秒级处理并发 SQL 支持安全和稳
定
Hadoop No Depends Depends Yes
NoSQL Yes Yes Depends Depends
传统关系型数据 Depends Yes Yes Yes
库
传统列式数据库 Yes Depends Yes Depends
基于内存技术的? ? ? ?
新一代数据库