文档介绍：大数据关键技术ResearchonKeyTechnologiesofBigData王秀磊/WANGXiulei刘鹏/LiuPeng(解放军理工大学指挥信息系统学院,江苏南京210007)(mandInformationSystems,PLAUniversityofScience&Technology,Nanjing210007,China)中图分类号:TP311文献标识码:A基金项目:国家科技重大专项(2012ZX03002003)“新一代宽带无线移动通信网”摘要:大数据的4V特征要求其文件系统应该具有海量存储、快速读写的性能,处理系统应该具有更快速的运算能力,数据库系统能够存储和检索各种类型数据的能力。本文结合大数据系统的一般结构,重点介绍了当前大数据领域在文件存储,数据处理和数据库领域的关键技术。通过各种技术的对比,对大数据近一步的研究工作将起到一定的指导作用。关键词:大数据;分布式文件系统;MapReduce;分布式数据库Abstract:The4VcharacterofBigDatarequiresthefilesystemshouldhavethecharactersofmassivestorageandfastI/O,binedwiththegeneralstructureofbigdatasystem,thisthesismainlyintroducesthekeytechnologiesofBigDatainfilestoragesystem,,:BigData;DistributedFileSystem;MapReduce;,世界已经进入数据大爆炸的时代,大数据时代已经来临。从商业公司内部的各种管理和运营数据,到个人移动终端与消费电子产品的社会化数据,再到互联网产生的海量信息数据等,每天世界上产生的信息量正在飞速增长。2009年数据信息量达到8000亿GB,[1][1]。图灵奖获得者JimGray提出的“新摩尔定律”:“每18个月全球新增信息量是计算机有史以来全部信息量的总和”,已经开始得到验证。大数据的“大”不仅仅体现在数据的海量性,还在于其数据类型的复杂性。随着报表、账单、影像、办公文档等在商业公司中得到普遍使用,互联网上视频、音乐、网络游戏不断发展,越来越多的非结构化数据进一步推动数字宇宙爆炸。数据海量而复杂,这是对大数据的诠释。与传统的数据相比,大数据具有规模性(Volume)、多样性(Variety)、高速性(Velocity)和低价值密度(Value)的4VError!。规模性和高速性是数据处理一直以来研究和探讨的问题,多样性和价值密度低是当前数据处理发展中不断显现出来的问题,而且在可以预见的未来,随着智慧城市、智慧地球等各种新设想的不断成为现实,上面的4中问题将会变得更加凸显,而且是不得不面对的问题。数据的产生经历