1 / 12
文档名称:

hadoop分布式环境搭建.docx

格式:docx   大小:145KB   页数:12页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop分布式环境搭建.docx

上传人:mh900965 2018/1/10 文件大小:145 KB

下载得到文件列表

hadoop分布式环境搭建.docx

文档介绍

文档介绍:Hadoop主从结点分布式配置
准备工作
一个路由器,若干网线与机器,查看路由器网段,,若机器是Linux系统,可以直接配置,若为Windows系统,先装虚拟机、winSCP,然后CentOS解压导入虚拟机,并有jdk和Hadoop压缩包待用。检查局域网是否通,cmd->ping IP地址
主节点

【查看windows网络和共享中心-》更改适配器设置-》点击VMWare网络查看IP地址;然后在Linux中查看设置网络IP地址
注意:点击VMWare网络查看到的IP地址可能不准确,可通过cmd->ipconfig校对

在虚拟机中打开CentOS,设置“网络适配器”为“桥接”后打开电源,点击两个电脑图标
删除已有的,添加wried –>Manul->Ipv4-> ->Apply
in Terminal
执行命令
重启网卡: work restart
验证: ifconfig ( 要注意真实的IP地址,控制面板\网络和\网络连接第一个网的IPV4,与它同一字段)
关闭防火墙
执行命令 service iptables stop
验证: service iptables status
关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables
设置主机名(重启生效)
执行命令 (1)hostname zn
(2)vi /etc/work (hostname=zn)(重启虚拟机)
ip与hostname绑定(添加全部节点的iP地址与主机名的对应关系)
执行命令 vi /etc/hosts
在打开的文本里加入 ip地址主机名同时也要在windows中即C:\Windows\System32\drivers\etc中增加所有的对应关系( zn)
验证: ping zn
设置ssh免密码登陆
在Hadoop启动以后,Namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。
执行命令 (1)ssh-keygen -t rsa
使用此命令来创建公钥会问你存放目录可以不修改不用输入任何东西,只需按enter键
(2)cp ~/.ssh/ ~/.ssh/authorized_keys
验证: ssh zn(通过ssh 节点名可进行任意切换)

安装jdk
执行命令 (1)cd /usr/local
(2)chmod u+x jdk-6u24-linux-
(3)./jdk-6u24-linux-
(4)mv jdk
(5)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(6)source /etc/profile(使文件生效)
验证: java -version
安装hadoop ps:下面的操作也是在/usr/local目录下进行的
执行命令 (1)tar -zxvf hadoop-
(2)mv hadoop- hadoop
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
-、core-、hdfs-、mapred-
-
export JAVA_HOME=/usr/local/jdk/
-
<configuration>
<property>
<name></name