文档介绍：:..大数据关键技术20**********国际二班林福源摘要:结合人数据系统的一般结构,介绍和对比了当前人数据领域在文件存储、数据处理和数据库领域的关键技术。通过各种技术的对■比,得到了一些分析结果。分析结來表切大数据系统的解决方案必将落地于现冇的云计算平台;云计算平台的分布式文件系统、分布式运算模式和分布式数据库管理技术是解决人数据问题的基础;一些人的依靠数据盈利的人公司必然会是大数据应用的主体。关键词:大数据;分布式文件系统;分布式数据库;MapReduce技术21世纪,世界已经进入数据大爆炸的时代,大数据时代己经来临。从商业公司内部的各种管理和运营数据,到个人移动终端与消费电子产品的社会化数据,再到互联网产生的海最信息数据等,每天壯界上产生的信息量正在飞速增长。2009年数据信息量达到8000亿GB,[1]O图灵奖获得者JimGray提出的“新摩尔定律”:“每18个月全球新增信息量是计算机有史以来全部信息量的总和”,已经得到验证。人数据的“人”不仅仅体现在数据的海量性,还在于其数据类型的复杂性。随着报表、账单、影像、办公文档等在商业公司中得到普遍使用,互联网上视频、音乐、网络游戏不断发展,越来越多的非结构化数据进一步推动数字宇宙爆炸。数据海量而复杂,这是对大数据的诠释。与传统的数据相比,大数据具有规模性(Volume)、多样性(Variety)>高速性(Velocity)和低价值密度(Value)的4V特点[2]。规模性和高速性是数据处理一直以来研究和探讨的问题,多样性和价值密度低是肖前数据处理发展屮不断显现岀来的问题,而且在可以预见的未來,随着儕慧城市、智慧地球等各种新设想的不断成为现实,上面的4屮问题将会变得更加凸显,而且是不得不面对的问题。数据的产生经历了被动、主动和自动3个阶段[3]。大数据的迅猛发展是信息时代数字设备计算能力和部署数量指数增长的必然结果。解决大数据研究屮的问题,必须要从人数据的产生背景进行研究。人数据的产纶源于规模效应,这种规模效应给数据的存储、管理以及数据的分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生。大数据的规模效应要求其存储、运算方案也应当从规模效应上进行考虑。传统的单纯依靠单设备处理能力纵向发展的技术早已经不能满足大数据存储和处理需求。以Google等为代表的一些大的数据处理公司通过横向的分布式文件存储、分布式数据处理和分布式的数据分析技术很好的解决了由于数据爆炸所产生的各种问题。,采用的技术千差万别,但是总体上总可以分为以下的几个重耍部分。大数据系统结构如图1所示。从数据处理的一般流程可以看到,在人数据环境下需要的关键技术主要针对海量数据的存储和海量数据的运算。传统的关系数据库经过近40年的发展己经成为了一门成熟同时仍在不断演进的数据管理和分析技术,结构化查询语言(SQL)作为存取关系数据库的语言得到了标准化,其功能和表达能力也得到的不断增强。但是,关系数据管理系统的扩展性在互联网坏境卜•遇到了前所未有的障碍,不能胜任人数据分析的要求。关系数据管理模型追求的是高度的一致性和正确性。纵向扩展系统,通过增加或者