1 / 34
文档名称:

Hadoop集群搭建(完全分布式).docx

格式:docx   大小:3,678KB   页数:34页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop集群搭建(完全分布式).docx

上传人:mh900965 2018/1/10 文件大小:3.59 MB

下载得到文件列表

Hadoop集群搭建(完全分布式).docx

文档介绍

文档介绍:Hadoop集群搭建(完全分布式)
实验环境
∎系统:64位Linux系统(ubuntu--desktop-)
∎ JDK:64位 jdk-6u45-linux-
∎ Hadoop版本:hadoop-
∎ Eclipse版本:eclipse-standard-kepler-R-linux-gtk-
∎ Hadoop插件:hadoop-eclipse-plugin-
∎硬件环境:三台PC机

安装完Linux系统Ubuntu之后,然后做接下来的工作:
一、准备安装环境
本机环境是安装windows7和Ubuntu双系统。集群环境为一个master,两个slave,节点代号分别为master、slave1、slave2。要保证三个节点IP地址可以ping通,并在/etc/hosts中进行配置
机器名
IP地址
作用
Master

NameNode、JobTracker
Slave1

DataNode、TaskTracker
Slave2

DataNode、TaskTracker
下面开始安装环境
1、启动root超级用户
与其他linux版本不同,Ubuntu安装时默认使用一个非root用户,在首次进入系统后,需要启用root超级用户,以便后面获得一些权限。
方法:以普通用户登录,进入终端(Ctrl+Alt+T)输入命令:
sudo passwd root
然后会提示输入密码:root
若是想以root用户登录系统,:
vi /etc/lightdm/
greeter-show-manual-login=true # 禁用客人会话
allow-guest=false # 开启图形登陆
如下图所示
完成之后重启系统,以root用户名和密码登录进行以后所有的操作;,可以在普通用户登陆的情况下,控制台中使用su root 进行账户切换。
2、配置节点host文件,修改主机名
hosts文件是最重要的配置文件,在hosts文件中会配置namenode和datanode的ip
方法:
按照在所有namenode和datanode节点的/etc/hosts文件中添加节点ip和对
应的机器名,所有节结点的hosts文件相同:既包含namenode的IP又包含
datanode的IP
vi /etc/hosts 
其中各个节点master、slave1、slave2的配置如下:
master
slave1
slave2
若是机器名和别名不一致,则可以将机器名修改和对应别名一致,如本集群的master主机名为student-OptiPlex-380,则可将其修改为master即可;或者直接在hosts里将其机器名也配置上,配置结果如图

3、添加用户
在root权限下使用以下命令添加hadoop用户,在三个虚拟机上都添加这个用户
sudo adduser hadoop
如下图所示
4、关闭Linux防火墙
推荐关闭Linux防火墙,原因是,遇到很多很多蛋疼的问题都与防火墙有关,所以推荐关闭防火墙,目前没找到什么好的办法
方法:
命令行输入
sudo ufw disable
二、安装JDK

1、下载JDK
64位 jdk-6u45-linux-
hnetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-#jdk-6u45-oth-JPR
2、解压安装
进入文件所在目录,将文件拷贝到/home/hadoop下,如下图所示
然后修改jdk安装包权限
执行:
./jdk-6u45-linux-
此处解压到: /home/hadoop/
3、修改环境变量
切换到root用户下
su root
进入
vi /etc/profile
然后在profile最后添加
export JAVA_HOME=/home/hadoop/
export PATH=$P

最近更新

超星尔雅学习通《形势与政策(2024春)》章节.. 25页

2023年委托管理协议书解除 委托管理协议书 超.. 56页

食品安全法管理知识考试题库附完整答案【有一.. 28页

高等学校教师岗前培训考试暨教师资格笔试题库.. 22页

高等学校教师岗前培训考试暨教师资格笔试题库.. 22页

高等学校教师岗前培训考试暨教师资格笔试题库.. 22页

高中新教师开学典礼代表致辞5篇 10页

领导运动会开幕式致辞范本 8页

2024年霜降唯美句子 58页

采购人员年终工作总结简短 47页

2024年雪景的小学生作文 16页

2024年《日常生活突发事故急救知识及处理方法.. 33页

2024年临床执业医师考试真题精品(各地真题).. 28页

2024年事业单位考试常识判断题200道【各地真题.. 80页

2024年公务员考试《言语理解与表达》题库及答.. 174页

赠与合同书 19页

2024乡镇林业调研报告2 10页

2024年“物业管理及公共服务”等知识考试题库.. 39页

2024年集团工作计划锦集5篇 17页

2024年《日常生活突发事故急救知识及处理方法.. 33页

2024年《日常生活突发事故急救知识及处理方法.. 34页

2024年中职职业院校(学前教育及幼儿心理学)技.. 42页

2023年度中国精神心理健康蓝皮书文档 6页

智能化系统集成专项施工方案(通过审核) 4页

黔阳县人民学习新编《黔阳县志》 1页

新版《施工现场临时用电安全技术规范》(jgj46.. 6页

人教版音乐小学五年级下册----梅花-ppt课件 18页

《一滴水经过丽江》课教案 2页

垃圾焚烧发电工艺设计参数的计算方法(共11页).. 11页

社区缓刑人员思想汇报 5页