文档介绍：大数据
的概念、技术与挑战
学院:
计算机与电子信息学院
专业名称:
计算机科学与技术
学号:
姓名:
指导教师
:
时间:
2013年11月
大数据的概念、技术与挑战
XXX
(广西大学计算机与电子信息学院,广西南宁 530004)
【摘要】计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,,、管理以及数据分析带来了极大的挑战,,,阐述大数据处理的基本框架,.
【Abstract】 Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as puting, of things and work,the era of big data e. Data has been fundamental resource from simple dealing object,and how to manage and utilize big data better has attracted much attention. Evolution or revolution on database research for big data is a paper discusses the concept of big data,and surveys its state of the art. The framework of big data is described and key techniques are studied. Finally some new challenges in the future are summarized.
【关键词】大数据,技术,挑战,数据分析,云计算
【key words】big data;technology;Challenge;data analysis;puting
近年来,伴随着物联网、云计算、移动互联网等新技术的迅猛发展,数据正以前所未有的速度不断增长和积累,大数据时代已经到来,这引起了产业界学术界科技界和政府机构的广泛关注。
大数据的火热并不意味着对于大数据的了解深入,、关键技术以及对其利用上均存在很多的疑问和争议
【1】。
大数据的基本概念及大数据时代产生的必然
早在1980年,美国著名未来学家阿尔温托夫勒( AlvinToffler) 在第三次浪潮一书中就提出了大数据( BigData) 的概念,并将其赞颂为第三次浪潮的华彩乐章[2]著名的数据库专家图灵奖获得者吉姆格雷( JimGray) 认为传统的实验理论和计算机3大范式在科学研究,特别是一些新的研究领域已经无法很好地发挥作用,于是,其在2007年提出当前科学研究已发展到了第4种范式( The FourthParadigm)[3],即以大数据为代表的数据密集型科学近几年,一些国际顶级学术刊物也相继出版专刊对大数据进行探讨研究 2008 年9 月,Nature推出了 Big Data 专刊[4],从互联网技术环境科学生物医药等多个方面介绍了海量数据带来的挑战 2011年2月,Science出版关于数据处理的专刊 Dealing with data[5],讨论了数据洪流( Data Deluge) 所带来的挑战,并阐明了大数据对于科学研究的重要性 2012年4月,欧洲信息学与数学研究协会会刊ERCIM News出版专刊 Big Data[6],讨论了有关大数据时代的数据管理数据密集型研究的创新技术等问题,并介绍了欧洲科研机构开展的研究活动和进展情况最早提出大数据时代已经到来的是全球知名咨询公司麦肯锡,其下属机构全球研究所( Mckinsey Global Institute) 于2011年6月份发布的一份专门的研究报告,将大数据视为全世界下一个创新竞争和生产力提高的前沿领域[7],并指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素; 而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来著名的市场调研机构IDC( In