文档介绍：大数据理论与应用摘要:搜索2013年全球热议词汇,大数据必然名列其中,不论是作为当今世界最发达国家的美国,还是最大发展中国家的中国都将“大数据”上升到国家发展的战略,并视之为决战未来国家竞争力的不二选择利器,数据作为最有价值的资产,掌握了数据便可站在信息不对称的高点赢得先机。当今时代正处在一个数据爆炸式增长的“大数据”时代,各行各业都离不开数据,所以大数据也必将在社会经济、政治、文化,人们生活等各个方面对整个社会产生了深远影响,同时我们对数据的驾驭能力也迎来了新的挑战和机遇。一、大数据时代产生的背景随着互联网信息化时代的发展深化,电子数据存储量呈现爆炸式的增长,,,,Google每天需要处理24PB的数据,IDC数据显示在2011年这个数字已经到180万PB,2015年将会达到800万PB,并且还将呈数量级增长,正是这种天文级别的数据的出现,以及如何在如此海量,且结构复杂的数据中发现数据价值,宣告着大数据时代的到来。大数据一般指所涉及到的资料量规模巨大到无法通过目前主流软件工具,在合理时间内提取、管理、处理并形成价值信息的咨询。这类数据一般有4V特征,一是体量性,就是数据量巨大,传统数据只考虑结构化数据,大数据时代非结构化数据这种比结构化数据大的多的数据带来了存储量大,计算量大的新问题。二是多样性,数据的来源不仅仅局限于数字数据,文本数据,图片,语音,视频等都是数据。三是快速性,数据量增长数据快,处理速度要求快。四是价值稀缺性,数据量如此复杂海量,真正有价值的数据却如浪里陶沙般稀少却又尼足珍贵。二、大数据时代的商业变革大数据如此诱人的原因在于,利用大数据技术可以通过对影响实体的全部数据的实时采集、处理、分析及时把控实体的运行,从而以最快的市场反应改善实体自身经营水平、提升自身经营效率,优化自身结构。这将根本改变企业因未能“更加了解他的客户”以及“市场反应过慢”而引起的衰落。索尼公司的创始人出井伸之解释索尼衰落的根本原因时,说了一段发人深省的话:“新一代基于互联网DNA企业的核心能力在于利用新模式和新技术更加贴近消费者、深刻理解需求、高效分析信息并做出预判,所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸,其衰落不是管理能扭转的。”由此看来,大数据欣起之火热不难理解。也因此可以看到,第一,对大数据不关心,不了解,必步索尼的后尘;第二,拥有大量的数据,并善加运用的公司,必将赢得未来。除了对传统企业的颠覆外,大数据对我们的生活也会有长足影响,如政务信息化、智能交通、智慧医疗等。,各个部门的信息化平台都是独成体系,各部门的数据既没有统一的收集标准,也没有互通互用。比如交通局的和气象局的、统计局的和社保局的等等互不通用,更谈不上数据资源整合。很显然,“数据出多门”导致了一个个“数据孤岛”。这种状况严重违背了政府信息化的初衷。如果用数据资源体系的理念辅助信息中心,在领导和业务部门之间构造一个数据资源体系,那么由信息中心采集所有业务体系所报送的数据,通过同方的数据资源体系进行加工梳理,把今天的数据和历史数据对接,把现在的数据和领导关心的指标关联起来,这样就形成了非常适合管理和决策使用的数据资源