1 / 4
文档名称:

Hadoop集群搭建.doc

格式:doc   大小:38KB   页数:4页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop集群搭建.doc

上传人:wxc6688 2020/12/10 文件大小:38 KB

下载得到文件列表

Hadoop集群搭建.doc

相关文档

文档介绍

文档介绍:Hadoop集群搭建

各台机器的用户同为redmap, hadoop 根目录为: /hadoop(即直接在filesystem里装得hadoop)
(1) redmap-master 作为 Namenode, JobTracker, SecondaryNameNode
(2) redmap-slaves1 作为 Datanode, TaskTracker
(3) redmap-slaves2 作为 Datanode, TaskTracker
配置
首先,需要配置各个机器间的相互访问:
1、按照上面的设置修改各台机器的host文件和hostname文件,保证机器可正常通信。在master机上的hosts文件(相关部分)为:
localhost
redmap-master
redmap-slaves1
redmap-slaves2
2、 配置ssh的自动登陆(在master机上):
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
完成后会在~/.ssh/生成两个文件:id_dsa 。
追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/ >> ~/.ssh/authorized_keys
完成后可以实现无密码登录本机:
$ ssh localhost
3、 文件追加到2和3的authorized_keys 内( 以slaves1节点为例):
#(在master号机器上执行)
$ scp ******@:/home/maple/
注:(只需在主节点上运行ssh-kegen程序。其他节点的目录结构创建后,将刚才在主节点创建的keys通过scp拷贝到从节点的同样的目录上。)
,而不是用scp命令
,进入/目录执行:
$ cat >> .ssh/authorized_keys
之后可以在master上不输入密码直接SSH访问slaves1
4、 配置集群node文件
在master机器(namenode, )上完成
5、修改conf/目录下的master文件,内容如下:
redmap-master
6、修改conf/目录下的slaves文件,内容如下:
redmap-slaves1
redmap-slaves2
7、修改conf/hadoop-:
# The java implementation to use. Required.
ex