文档介绍：应需而变融以致远
——大数据时代存储之路
信息化:从涓流到海洋
目录
大数据带来哪些技术变革
云时代大数据的特点
1
2
华为大数据架构和具体实践
3
大量用户群体
海量计算
大量数据管理
数据分析
大数据定义-不同行业的不同声音
云时代的大数据特点
Volume-巨量
Variety-多样性
Value-价值密度
数据量巨大
全球在2010 年正式进入ZB 时代
IDC预计到2020 年,全球将总共拥有40ZB 的数据量
结构化数据、半结构化数据和非结构化数据
如今的数据类型早已不是单一的文本形式,订单、日志、音频,能力提出了更高的要求
沙里淘金,价值密度低
一部数小时的视频,可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题
实时获取需要的信息
大数据区分于传统数据最显著的特征。如今已是ZB时代,在如此海量的数据面前,处理数据的效率就是企业的生命
Velocity-速度
信息采集系统全景介绍
政府机构
(医保,社保)
短信
通话记录
数据分类
数据来源
运营商
存储区域
业务平台
汇聚、分析、入库
医院
大型企业
交通信息
视频监控
Email
社保、医保、住宿、交通
视频监控
网络信息
精确查询
…………
人际关系、行为分析
跟随分析、人脸识别
通话记录、住宿、交通统计报表
短信、Email内容过滤等其他信息
统计分析
内容查询
数据导入
大数据在各行业的应用
社交网络
B 2C业务
能源
媒资
地质勘探
科研
智能电网
非线编辑
后期制作
卫星探测
基因工程
电子支付
票据归档
金融
互联网
公安
视频监控
视频分析
目录
大数据各行业需求和应用
大数据带来哪些技术变革
云时代大数据的特点
1
2
华为大数据架构和具体实践
3
大数据带来技术变革
大数据
分析处理
全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一;
Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术;
传统技术升级已满足不了大数据处理的需求,“大数据”技术将在未来3—5年内进入主流。其技术形态也会产生较大的变化;
存储瓶颈
计算瓶颈
网络瓶颈
数据库瓶颈
大数据带来哪些技术变革
单机
集群
虚拟化
集群
文件存储
单机
设备间连接
设备内连接
关系型数据库
横向扩展
横向扩展
GE FC
数据库集群
10GE FC IB
分布式数据库
非关系型数据库
块存储
10GE SAS IB
FC
计算
存储
数据库
网络
横向扩展(硬件扩展)
块虚拟化
丰富的增值软件及对外接口
横向扩展(硬件+文件系统)
文件虚拟化
丰富的增值软件及对外接口