Hadoop平台在云计算中的应用.pdf

文档介绍：软件 2011 年第 32 卷第 4 期 Software 国际 IT 传媒品牌
Hadoop 平台在云计算中的应用
王宏宇
( 哈尔滨理工大学计算机科学与技术学院,黑龙江哈尔滨 150080)
摘要:云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop 是一个可实现大规模分布式计算的开源软件
平台,因此被广泛应用在云计算领域。本文在对Hadoop 的主要组件 Hadoop 分布式文件系统 HDFS(Hadoop Distributed File System)
和计算模型 MapReduce 进行深入分析和研究的基础上,建立基于 Hadoop 平台的云计算模型,通过实验证明该模型可以有效完成分
布式数据处理任务。
关键词:云计算;Hadoop; HDFS; MapReduce
中图分类号: 文献标识码:A DOI: .1003-
An application of Hadoop platform in puting
WANG Hong-yu
(School puter science and technology, Harbin University of Science and Technology, Harbin 150080)
【Abstract】 Currently, puting is one of the more popular emerging technologies, drawing much attention by industry. Ha-
doop is an open-source software which can achieve large-scale puting, so it is widely used in puting. This paper
will do in-depth analysis and research on the of Hadoop include HDFS (Hadoop Distributed File System ) puting
model MapReduce,then establish a puting model based on Hadoop, The experiment shows that the model can -
plete the distributed data processing tasks.
【Key words】puting; Hadoop; HDFS; MapReduce
0 引言 Apache Hadoop 项目包括多个子项目,但主要是由 Ha-
doop 分布式文件系统 HDFS 和计算模型 MapReduce 两个主
云计算[1] 是一种新兴的计算模型,它是并行计算、分布式
要的子项目组成。
计算、网格计算的综合发展,或者说是这些计算科学概念的商
业实现。它的基本原理是将计算、存储及软硬件等服务分布在
非本地的大量计算机构成的资源池上,用户通过网络获得相应
的服务,从而有效的提高资源利用率,实现了真正的按需获取。
目前云计算模型众多,但多为商业模型,而Had