文档介绍：大数据分析与决策
姜昱汐
(大连交通大学经济管理学院经济学教研室)
一、大数据的相关概念
二、大数据分析
三、大数据应用的典型案例
四、大数据的可靠性
五、大数据与贝叶斯方法
报告内容
2018/3/18
2
数据管理技术发展历史
数据管理技术历经人工管理、文件管理、数据库管理等时代,大数据技术的出现使该领域进入了一个新的发展阶段
- 3 -
1946
1951
1956
1961
1970
1974
1979
1991
2001
2003
2008
2011
第一台计算机ENIAC面世
磁带+卡片
人工管理
磁盘被发明,进入文件管理时代
网络型
SQL
E-R
GE公司发明第一个网络模型数据库,但仅限于GE自己的主机
1960年代,IT系统规模和复杂度变大,数据与应用分离的需求开始产生,数据库技术开始萌芽并蓬勃发展,并在1990年后逐步统一到以关系型数据库为主导
IBM
SQL语言被发明
关系型
数据库
ORACLE发布第一个商用SQL关系数据库,后续快速发展
数据仓库
数据仓库开始涌现,关系数据库开始全面普及且平台无关,进入成熟期
2001年后,互联网迅速发展,数据量成倍递增,量变引起质变,开始对数据管理技术提出全新的要求
1946年,电脑诞生,数据与应用紧密捆绑在文件中,彼此不分
Hadoop成为Apache顶级项目,重点支持海量数据分布式管理和分布式计算
GFS
谷歌发表论文介绍分布式计算
大数据发展背景
全球信息化发展已步入大数据时代
150亿个设备连接到互联网
全球每秒钟发送 290万封电子邮件
每天有 万小时视频上传到Youtube
Facebook 每日评论达32亿条,每天上传照片近3亿张,每月处理数据总量约130万TB
,预计2020年将增长到35ZB
大数据正迅速成为最值得关注的IT领域之一
2011年5月,EMC World 2011大会主题“云计算相遇大数据”,EMC 除了一直倡导的云计算外,还抛出"大数据"(Big Data)概念
2011年6月底,IBM、麦肯锡等众多国外机构发布"大数据"相关研究报告,予以积极跟进
2011 年10 月,Gartner 认为2012 年十大战略技术将包括"大数据"
2011 年11 月底,IDC(互联网数据中心) 将"大数据"放入2012 年信息通信产业十大预测之一
- 4 -
IDC全球数据量预测( 1ZB = 1百万PB = 10亿TB)
Google网站 Big data关键词搜索及新闻引用量
什么是大数据
1
2
3
大数据的定义理解
大数据的“4V”特征
大数据的产生、增长
2018/3/18
5
大数据时代的爆炸增长
想驾驭这庞大的数据,我们必须了解大数据的特征。
地球上至今总共的数据量:
在2006 年,个人用户才刚刚迈进TB时代,全球一共新产生了约180EB的数据;
在2011 年,。
而有市场研究机构预测:
到2020 年,整个世界的数据总量将会增长44 倍,(1ZB=10 亿TB)!
1GB = 2^30字节
1TB = 2^40字节
1PB = 2^50字节
1EB = 2^60字节
1ZB = 2^70字节
2018/3/18
7
大数据的4V特征
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。
Volume
Velocity
Value
Variety
2018/3/18
8
数据体量巨大(Volume):
百度资料表明,(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证明,到目前为止,人类生产的所有印刷材料的数据仅为200PB(不能在单个计算机上集中存储,一般需要用到分布式/云计算模式等)。
数据类型多样化:
现在的数据不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多种类型的数据,个性化、非结构化数据占据较大比例。
大数据的4V特征
处理速度快
数据处理遵循“1秒定律”,可从各种类型的数据中快速获取高价值的信息
价值密度低:
以视频为例,几小时的视频,在不间断的监控过程中,有用的数据可能仅仅几秒。
单个数据可能价值不大,但是数据整体还是有高价值的(比如一个班级大家发的微博可能没有特别大的意义,但是全国高校大学生发的微博就可以反映当代大学生思想理念)
201