文档介绍：——大数据引领我们走向数据智能化时代
大数据分析
大数据的定义理解
什么是大数据
大数据时代的背景
1
大数据的定义理解
大数据的“4V”特征
2
大数据的构成
3
大数据时代的背景
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。
全球每秒钟发送百万封电子邮件,一分钟读一篇的话, 年…
每天会有万个小时的视频上传到Youtube, 年…
推特上每天发布 5 千万条消息,假设10 秒钟浏览一条信息,这些消息足够一个人昼夜不息的浏览16 年…
每天亚马逊上将产生百万笔订单…
每个月网民在Facebook 上要花费7 千亿分钟,…
Google 上每天需要处理24PB 的数据…
数据量增加
TB
PB
ZB
EB
根据IDC 监测,人类产生的数据量正在呈指数级增长,大约每两年翻一番,这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。
数据结构日趋复杂
大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长
这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴
大数据时代正在来临…
大数据时代的背景
20世纪90年代,数据仓库之父的Bill Inmon就经常提及Big Data。
2011年5月,在“云计算相遇大数据”为主题的EMC World 2011 会议中,EMC 抛出了Big Data概念。
大数据时代的背景
体量Volume
多样性Variety
价值密度Value
速度Velocity
非结构化数据的超大规模和增长
占总数据量的80~90%
比结构化数据增长快10倍到50倍
是传统数据仓库的10倍到50倍
大数据的异构和多样性
很多不同形式(文本、图像、视频、机器数据)
无模式或者模式不明显
不连贯的语法或句义
大量的不相关信息
对未来趋势与模式的可预测分析
深度复杂分析(机器学****人工智能Vs传统商务智能(咨询、报告等)
实时分析而非批量式分析
数据输入、处理与丢弃
立竿见影而非事后见效
大数据的4V特征
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。
Value 价值
挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.
价值密度低,是大数据的一个典型特征.
2010年海地地震,海地人散落在全国各地,援助人员为弄清该去哪里援助手忙脚乱。传统上,他们只能通过飞往灾区上空来查找需要援助的人群。
一些研究人员采取了一种不同的做法:他们开始跟踪海地人所持手机内部的SIM卡,由此判断出手机持有人所处的位置和行动方向。正如一份联合国(UN)报告所述,此举帮助他们“准确地分析出了逾60万名海地人逃离太子港之后的目的地。”后来,当海地爆发霍乱疫情时,同一批研究人员再次通过追踪SIM卡把药品投放到正确的地点,阻止了疫情的蔓延。