文档介绍：使用Hadoop构建云计算平台
1、Hadoop架构
Hadoop的核心框架包括两个部分:HDFS 和Mapreduce;HDFS(即Hadoop Distributed System的缩写)是分布式计算的基石,而Mapreduce是任务的分解和结果的汇总。简单的说,Map就是将一个任务分解成为多个任务,而Reduce就是将分解后多任务处理的结果汇总起来得出最后的结果;HDFS是一个与其它文件系统类似的,对于整个集群有单一的命名空间,文件被分割为多块分配存储到数据节点上的一个系统。
2、Hadoop的优点
:不论是存储的可扩展性还是计算的可扩展都是Hadoop的设计根本,Hadoop具有很强的扩展性;
: 框架可以运行在任何普通的PC机上,我在这边采用的是几天快要或者已经被淘汰的PC机搭建。
: 分布式文件系统的备份恢复机制以及Mapreduce的任务监控保证了分布式处理的可靠性。
: 分布式文件系统的高效数据交互实现以及Mapreduce结合Local Data处理的模式,为高效处理海量的信息作了基础准备。
3、Hadoop单机模式的操作方法
默认情况下,Hadoop被配置成以非分布式模式运行的一个独立的java进程。我们先来了解单机模式的情况。这对后面的调试非常有帮助。
第一步,安装Linux之后,我们需要安装jdk和Hadoop,这都是比较简单的,这里注意所有电脑上安装路径必须一致。
将Hadoop解压后,需要修改Hadoop安装文件夹下conf文件夹中的hadoop-,指定JAVA_HOME=/usr/local/,,设置Hadoop堆大小为2000MB。在用户主文件夹中,,增加JAVA环境变量
export JAVA_HOME=/usr/local/
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
这样,单击模式可以进行计算了,下面以一个词频统计的例子作为实例。
在Hadoop的安装文件夹目录下,输入
mkdir input
cp conf/*.xml input
bin/hadoop jar hadoop-examples wordcount input output
cat output/*
这里最后一句是查看结果,也可以直接进入output目录,打开相应文件。
到这,单机模式的操作基本介绍了,这个过程很简单,主要是设置jdk的路径及环境变量的问题。
4、Hadoop分布式模式的基本操作
Hadoop部署过程相对比较复杂,也难得找到对应相对比较全的指导,自己一边摸索一边搭建,把目前在这方面的一些收获和问题拿出来,谈谈自己的一些浅显的经验。先以两台为例,一台作为
Master( Hypervisor+DataNode),一台作为Slave(DataNode)。因为Hadoop要求所有机器上hadoop的部署目录结构相同,并且都有一个相同的用户名的帐户,我将所有PC机都建立一个hadoop的账户,主目录是/home/hadoop/
第一步,配置网络,使部署Hadoop的PC机可以通信,