文档介绍：沿海集团大数据三年发展策略规划
2013年11月
大数据的时代背景
1
大数据的构成与特征
2
大数据的未来
3
目录 CONTENTS
认识篇
全球每秒钟发送 百万封电子邮件,一分钟读一篇的话, 年…
每天会有 万个小时的视频上传到Youtube, 年…
推特上每天发布 5 千万条消息,若10 秒浏览一条,足够一个人昼夜不息的浏览16 年…
每天亚马逊上将产生 百万笔订单…
每个月网民在FaceBook 上花费7 千亿分钟,…
Google 上每天需要处理24PB 的数据…
大数据时代的到来:新的时代,人们从信息的被动接受者变成了主动创造者
一、大数据的时代背景
TB
PB
ZB
EB
大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长
根据IDC 监测,人类产生的数据量正在呈指数级增长,大约每两年翻一番,这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量
数据结构日趋复杂
大数据时代的到来
这些由我们创造的信息背后产生的这些数据及其潜在价值早已经远远超越了我们的想象
大数据时代正在来临……
数据量增加
facebook
社交网络
淘宝ebuy
电子商务
微博Apps
移动互联
21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。
互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类智力与发展的领域中。
“大数据”的诞生
20世纪90年代,数据仓库之父的Bill Inmon就经常提及Big Data
2011年5 月,在“云计算相遇大数据”为主题的EMC World
2011 会议中,EMC 抛出了Big Data概念
大数据= 海量数据+ 复杂类型的数据
海量交易数据:
企业内部的经营交易信息主要包括联机交易数据和联机分析数据,是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据,我们能了解过去发生了什么。
海量交互数据:
源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮等等。可以告诉我们未来会发生什么。
二、大数据的构成与特征
大数据的构成
包含交易数据和交互数据集在内的所有数据集
“大量化、多样化、快速化、价值密度低”就是“大数据”的显著特征,只有具备这些特点的数据,才是大数据。
体量 Volume
多样性Variety
价值密度Value
速度Velocity
大数据的“4V”
非结构化数据的超大规模和增长
总数据量的80~90%
比结构化数据增长快10倍到50倍
大数据的异构性和多样性
很多不同形式(文本、图像、视频、机器数据)
无模式或者模式不明显,不连贯的语法或句义
实时分析而非批量式分析
数据输入、处理与丢弃,立竿见影而非事后见效
大量的不相关信息
对未来趋势与模式的可预测分析;深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)
Variety
多样的数据类型
Velocity
快速的数据流转
巨大的数据价值
大数据要解决的问题
Streams
Real time
Near time
Batch
Structured
Unstructured
Semi-structured
All the above
TB、PB、EB
Value
Volume
海量的数据规模
借助大数据,有利于政府更好地响应社会和经济指标变化,如瘦肉、实业、食品价格等,合理分析、快速应变,引导科研、医疗、商业、国家安全等方面的管理创新,带动国家经济发展;
国家机构
企业组织
员工个人
借力大数据,驱动市场营销、成本控制、产品与服务创新、管理与决策创新、管理模式的创新,创造客户价值,提升企业竞争力;
提高效率:员工能够及时获取有价值的数据和