文档介绍:---
----
Hadoop云计算平台搭建方案
一、平台搭建概述
针对于电网企业在营销效劳领域展开的大数据分析处理,搭建Hadoop云计算平台进展海量数据存储,并作深层次加工、处理,挖掘出无法简单直观便可得到的 //执行vmware-
按提示屡次“回车〞直至显示安装成功的信息,再重启系统即可。
在完成上述操作后,为保障Hadoop集群各节点之间的无障碍通信,需关闭系统防火墙。在重启系统后,在terminal终端输入命令:sudo ufw disable
当显示“Firewall stopped and disable on system startup〞时表示防火墙已关闭,假设后续效劳部署过程中机器重启无法实现节点之间的相互通信,可尝试检查防火墙是否关闭。
master节点的JDK安装与配置
由于Hadoop底层实现是用JAVA语言编写的,因此它的运行离不开JAVA运行环境〔JRE〕的支持,这就需要JDK。JDK有多个更新版本,安装过程大致一样,这里选择
---
----
。先将安装文件jdk-8u20-linux-,在终端输入命令:tar xzvf jdk-8u20-linux-
进展解压安装,此时会产生文件夹“〞,所得的JDK安装路径为“/home/hadoop/〞。安装完毕后翻开/etc/profile文件,配置JDK的class path:在terminal终端键入命令:sudo gedit /etc/profile翻开profile文件,在文件末尾加上以下语句:
#set java environment
export JAVA_HOME=/home/hadoop/
export JRE_HOME=/home/hadoop/
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH // /home/hadoop/是hadoop文件夹所在路径,不可照抄,要以实际路径为准
保存之后,在terminal终端输入命令:source /etc/profile使其生效。并键入命令java –version查看是否配置成功,假设出现如下信息,那么表示java环境变量配置成功。
java version ""
Java(TM) SE Runtime Environment (build -b26)
Java HotSpot(TM) Client VM (build -b23, mixed mode)
---
----
注:以上灰色背景标注的文字表示的Linux命令,红色字体颜色标注的文本表示的需要写入的Hadoop环境配置文件中的信息,绿色字体颜色标注的小5号文本表示注释,下同
master节点的hadoop安装与配置
Hadoop的安装是Hadoop平台搭建的关键步骤,将从 ://-,进展解压安装,输入命令:tar xzvf hadoop-
安装完成后配置环境变量:在系统文件/etc/profile以及Hadoop的安装目录/home/hadoop/hadoop-。
添加环境变量
翻开/etc/profile文件,在terminal终端键入命令:sudo gedit /etc/profile调出profile文件,在文件末尾加上:
# set hadoop environment
export HADOOP_HOME=/home/hadoop/hadoop-
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
然后保存,在终端键入命令source /etc/profile使其生效。
异常处理1:
问题:保存添加的环境变量并使其生效后,terminal可能会出现如下警告:
(gedit:2949): Gtk-WARNING **: Attempting