1 / 17
文档名称:

hadoop云计算平台搭建方案2.doc

格式:doc   大小:114KB   页数:17页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop云计算平台搭建方案2.doc

上传人:2823029757 2022/7/30 文件大小:114 KB

下载得到文件列表

hadoop云计算平台搭建方案2.doc

文档介绍

文档介绍:-
. z.
Hadoop云计算平台搭建方案
一、平台搭建概述

针对于电网企业在营销服务领域展开的大数据分析处理,搭建Hadoop云计算平台进行海量数据存储,ystem startup”时表示防火墙已关闭,若后续服务部署过程中机器重启无法实现节点之间的相互通信,可尝试检查防火墙是否关闭。
master节点的JDK安装与配置
由于Hadoop底层实现是用JAVA语言编写的,因此它的运行离不开JAVA运行环境(JRE)的支持,这就需要JDK。JDK有多个更新版本,安装过程大致相同,。先将安装文件jdk-8u20-linu*-,在终端输入命令:tar *zvf jdk-8u20-linu*-
进行解压安装,””。安装结束后打开/etc/profile文件,配置JDK的class path:在terminal终端键入命令:sudo gedit /etc/profile打开profile文件,在文件末尾加上以下语句:
*set java environment
-
. z.
e*port CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
e*port PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH // /home/hadoop/是hadoop文件夹所在路径,不可照抄,要以实际路径为准
保存之后,在terminal终端输入命令:source /etc/profile使其生效。并键入命令java –version查看是否配置成功,若出现如下信息,则表示java环境变量配置成功。
java version ""
Java(TM) SE Runtime Environment (build -b26)
Java HotSpot(TM) Client VM (build -b23, mi*ed mode)
注:以上灰色背景标注的文字表示的Linu*命令,红色字体颜色标注的文本表示的需要写入的Hadoop环境配置文件中的信息,绿色字体颜色标注的小5号文本表示注释,下同
master节点的hadoop安装与配置
Hadoop的安装是Hadoop平台搭建的关键步骤,将从g下载的安装包hadoop-,进行解压安装,输入命令:tar *zvf hadoop-2
安装完成后配置环境变量:在系统文件/etc/profile以及Hadoop的安装目录/home/hadoop/hadoop-。
添加环境变量
打开/etc/profile文件,在terminal终端键入命令:sudo gedit /etc/profile调出profile文件,在文件末尾加上:
* set hadoop environment
e*port PATH=$HADOOP_HOME/bin:$PATH
e*port PATH=$HADOOP_HOME/sbin:$PATH
然后保存,在终端键入命令source/etc/profile使其生效。
异常处理1:
问题:保存添加的环境变量并使其生效后,terminal可能会出现如下警告:
(gedit:2949): Gtk-WARNING **: Attempting to set the permissions of `/root/.local/share/recently-used.*bel', but failed: No such file or directory
(gedit:2949): Gtk-WARNING **: Attempting to store changes into `/root/.local/share/recently-used.*bel', but failed: Failed to create file '/root/.local/share/recently-used.*': No such file or directory
(gedit:2949): Gtk-WARNING **: Attempting to set the permissions of `/root/.local/share/