hadoop环境搭建步骤.docx

文档介绍：集群情况:
4个节点,IP分别为:
node0: (NameNode/JobTracker/SecondaryNameNode/HMaster)
node1: (DataNode/TaskTracker/HRegionServer/QuorumPeerMain)
node2: (DataNode/TaskTracker/HRegionServer/QuorumPeerMain)
node3: (DataNode/TaskTracker/HRegionServer/QuorumPeerMain)
软件版本:
rhel-server--x86_64
jdk-7u10-linux-x64
hadoop-
zookeeper-
hosts和hostname设置
安装分布式的Hadoop集群需要在每一个节点上都设置网络中的hosts和本机的hostname。首先将/etc/hosts文件中在文件末尾添加hosts配置,每行为一个ip地址和对应的主机名,以空格分隔。以node0为例,修改后的hosts文件如下:
localhost ::1 localhost6
node0
node1
node2
node3
再将/etc/work文件中HOSTNAME=一行中“=”之后内容改为主机名,如:
HOSTNAME=node0
2. SSH设置
在所有节点上启动SSH服务器端sshd:
# service sshd start
在/etc/,使得sshd开机启动:
service sshd start
上面步骤也许不需要设置
之后,在node0生成ssh公钥,添加到node1/2/3的~/.ssh/authorized_keys文件中以实现node0
无密码登陆,ssh登录本机也要免密码,如下设置
在node0上,执行:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/ >> ~/.ssh/authorized_keys
在每一个datanode(node1、node2、node3)上执行:
$ ssh-keygen -t dsa
在node0上,执行:
$ scp ~/.ssh/ node1:~/ (给每一个datanode都复制一份)
然后在node1-node3上,执行:
$ cat ~/ >> ~/.ssh/authorized_keys
此处node0是ssh客户端,node1/2/3是ssh服务器端。linux系统中还需要将
authorized_keys文件的权限改为600(每台机器):
$ chmod 600 ~/.ssh/authorized