文档介绍：1 、集群部署介绍 Hadoop 简介 Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。以 Hadoop 分布式文件系统( HDFS , Hadoop Distributed Filesystem )和 MapReduce ( Google MapReduce 的开源实现)为核心的 Hadoop 为用户提供了系统底层细节透明的分布式基础架构。对于 Hadoop 的集群来讲,可以分成两大类角色: Master 和 Salve 。一个 HDFS 集群是由一个 NameNode 和若干个 DataNode 组成的。其中 NameNode 作为主服务器, 管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的 DataNode 管理存储的数据。 MapReduce 框架是由一个单独运行在主节点上的 JobTracker 和运行在每个集群从节点的 TaskTracker 共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个 Job 被提交时, JobTracker 接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控 TaskTracker 的执行。从上面的介绍可以看出, HDFS 和 MapReduce 共同组成了 Hadoop 分布式系统体系结构的核心。 HDFS 在集群上实现分布式文件系统, MapReduce 在集群上实现了分布式计算和任务处理。 HDFS 在 MapReduce 任务处理过程中提供了文件操作和存储等支持, MapReduce 在 HDFS 的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了 Hadoop 分布式集群的主要任务。环境说明集群中包括 4 个节点: 1个 Master ,3个 Salve ,节点之间局域网连接,可以相互 ping 通,具体集群信息可以查看" Hadoop 集群(第 2 期) " 。节点 IP 地址分布如下: 机器名称 IP 地址四个节点上均是系统,并且有一个相同的用户 hadoop 。 Master 机器主要配置 NameNode 和 JobTracker 的角色,负责总管分布式数据和分解任务的执行; 3个 Salve 机器配置 DataNode 和 TaskTracker 的角色,负责分布式数据存储以及任务的执行。其实应该还应该有 1个 Master 机器,用来作为备用,以防止 Master 服务器宕机,还有一个备用马上启用。后续经验积累一定阶段后补上一台备用 Master 机器。网络配置 Hadoop 集群要按照小节表格所示进行配置,我们在" Hadoop 集群(第 1 期) "的安装过程就按照提前规划好的主机名进行安装和配置。如果实验室后来人在安装系统时,没有配置好,不要紧,没有必要重新安装,在安装完系统之后仍然可以根据后来的规划对机器的主机名进行修改。下面的例子我们将以 Master 机器为例,即主机名为"" , IP为"" 进行一些主机名配置的相关操作。其他的 Slave 机器以此为依据进行修改。 1 )查看当前机器名称用下面命令进行显示机器名称,如果跟规划的不一致,要按照下面进行修改。 hostname 上图中,用"hostname" 查"Master" 机器的名字为"" ,与我们预先规划的一致。 2 )修改当前机器名称假定我们发现我们的机器的主机名不是我们想要的,通过对" /etc/work " 文件修改其中" HOSTNAME " 后面的值,改成我们规划的名称。这个" /etc/work " 文件是定义 hostname 和是否利用网络的不接触网络设备的对系统全体定义的文件。设定形式:设定值=值"/etc/work" 的设定项目如下: NETWORKING 是否利用网络 GATEWAY 默认网关 IPGATEWAYDEV 默认网关的接口名 HOSTNAME 主机名 DOMAIN 域名用下面命令进行修改当前机器的主机名( 备注: 修改系统文件一般用 root 用户) vim /etc/work 通过上面的命令我们从"/etc/work" 中找到"HOSTNAME" 进行修改, 查看内容如下: 3 )修改当前机器 I