大数据环境集群环境搭建.docx

文档介绍：大数据， hadoop,spark,hive,ZooKeeper,kafka,flume 等组件环境搭建
大数据环境搭建
1、 CentOS
2、 JDK
3、 H
. 1 hadoop
4、配置 hadoop 相关环境变量
vi .bashrc
或者 vi/etc/profile
export
HADOOP_HOME=/usr/local/hadoop
export
PATH= $HADOOP_HOME/bin: $HADOOP_HOME/sbin
source
.bashrc
修改 hadoop 相关的配置文件
进入 /usr/local/hadoop/etc/hadoop 目录下
修改 core-
<property >
</ name>
<value >hdfs://spark1:9000 </ value > // 设置 hdfs 集群对外提供
的目录
</ property >
修改 hdfs- // 设置 hdfs 的一些目录，放在 /usr/local/data 的目录下面
<property >
</ name>
<value >/usr/local/data/namenode </ value >
</ property >
-- 4
精选文库
<property >
</ name>
<value >/usr/local/data/datanode </ value >
</ property >
<property >
</ name>
<value >/usr/local/data/tmp </ value >
</ property >
<property >
<name > </ name>
<value >3</ value > // 设置副本数
</ property >
修改 mapred- //mapreduce 的框架设置为 yarn
<property >
</ name>
<value >yarn </ value >
</ property >
修改 yarn-
<property >
</ name>
<value >spark1 </ value >
</ property >
-- 5
精选文库
<property >
</ name>
<value >mapreduce_shuffle </ value >
</ property >
修改 slaves 文件
spark1
spark2
spark3
在另外两台机器上搭建 hadoop
1
、使用如上配置在另外两台机器上搭建
hadoop ，可以使用 scp 命令将 spar
k1 上面的 hadoop 安装包和 .bashrc 或者 /etc/profile
配置文件都拷贝过
去。
scp -r hadoop root
***@spark1 :/usr/local/
scp -r hadoop root
***@spark2 :/usr/local/
scp -r /etc/profile root
***@spark1
:/etc/
scp -r /etc/profile root
***@spark2
:/etc/
2
、要记得对 .bashrc
文件或者 /etc/profile
进行 source
，以让它生效。
3
、记得在 spark2 和 spark3 的 /usr/local
目录下创建 data 目录。
启动 hdfs 集群
1、格式化 namenode ：在 spark1 上执行以下命令，
-- 6
精选文库