文档介绍：大数据分析—安全防御的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展,数据正以前所未有的速度不断地增长和积累。人们不禁惊呼,大数据时代已经到来!
大数据(Big Data)是继云计算、物联网之后信息技术领域的又一次颠覆性变革,同时也拉开了全球网络空间争霸的帷幕。各国相继调整信息安全战略,将大数据置于重要地位,以夺取“信息优势”和“国际话语权”。
facebook
社交网络
淘宝、ebuy
电子商务
微博、Apps
移动互联
21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。
互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。
“大数据”的诞生:
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类智力与发展的领域中。
大数据时代的背景
GB
TB
PB
EB
ZB
想驾驭这庞大的数据,我们必须了解大数据的特征。
地球上至今总共的数据量:
在2006 年,个人用户才刚刚迈进TB时代,全球一共新产生了约180EB的数据;
在2011 年,。
而有市场研究机构预测:
到2020 年,整个世界的数据总量将会增长44 倍,(1ZB=10 亿TB)!
1PB = 2^50字节
1EB = 2^60字节
1ZB = 2^70字节
大数据时代的爆炸增长
1Byte = 8 Bit 1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes 1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
数据量在爆炸式增长——近两年所产生的数据量相当于2010年以前整个人类文明产生的数据量总和
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。
Volume
Velocity
Value
Variety
大数据的4V特征
大数据= 海量数据+ 复杂类型的数据
海量交易数据:
企业内部的经营交易信息主要包括联机交易数据和联机分析数据,是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据,我们能了解过去发生了什么。
大数据包括:
交易数据和交互数据集在内的所有数据集
海量交互数据:
源于Facebook、***、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。
海量数据处理:
大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。
大数据的构成
4、大数据的应用——精准营销
通过用户行为分析实现精准营销是大数据的典型应用
智能电网现在欧洲已经做到了终端,也就是所谓的智能电表。在德国,为了鼓励利用太阳能,会在家庭安装太阳能,除了卖电给你,当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据,收集来的这些数据可以用来预测客户的用电****惯等,从而推断出在未来2~3个月时间里,整个电网大概需要多少电。有了这个预测后,就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样,如果提前买就会比较便宜,买现货就比较贵。通过这个预测后,可以降低采购成