文档介绍:Hadoop集群搭建
各台机器的用户同为redmap, hadoop 根目录为: /hadoop(即直接在filesystem里装得hadoop)
(1) redmap-master 作为 Namenode, JobTracker, SecondaryNameNode
(2) redmap-slaves1 作为 Datanode, TaskTracker
(3) redmap-slaves2 作为 Datanode, TaskTracker
配置
首先,需要配置各个机器间的相互访问:
1、按照上面的设置修改各台机器的host文件和hostname文件,保证机器可正常通信。在master机上的hosts文件(相关部分)为:
localhost
redmap-master
redmap-slaves1
redmap-slaves2
2、 配置ssh的自动登陆(在master机上):
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
完成后会在~/.ssh/生成两个文件:id_dsa 。
追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/ >> ~/.ssh/authorized_keys
完成后可以实现无密码登录本机:
$ ssh localhost
3、 文件追加到2和3的authorized_keys 内( 以slaves1节点为例):
#(在master号机器上执行)
$ scp ******@:/home/maple/
注:(只需在主节点上运行ssh-kegen程序。其他节点的目录结构创建后,将刚才在主节点创建的keys通过scp拷贝到从节点的同样的目录上。)
,而不是用scp命令
,进入/目录执行:
$ cat >> .ssh/authorized_keys
之后可以在master上不输入密码直接SSH访问slaves1
4、 配置集群node文件
在master机器(namenode, )上完成
5、修改conf/目录下的master文件,内容如下:
redmap-master
6、修改conf/目录下的slaves文件,内容如下:
redmap-slaves1
redmap-slaves2
7、修改conf/hadoop-:
# The java implementation to use. Required.
ex