1 / 22
文档名称:

Hadoop云计算平台搭建方案2.docx

格式:docx   大小:116KB   页数:22页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop云计算平台搭建方案2.docx

上传人:sssmppp 2022/6/15 文件大小:116 KB

下载得到文件列表

Hadoop云计算平台搭建方案2.docx

相关文档

文档介绍

文档介绍:Hadoop云计算平台搭建方案
一、平台搭建概述
Li总体思路
针对于电网企业在营销服务领域展开的大数据分析处理,搭建Hadoop云计算平台进行海量 数据存储,并作深层次加工、处理,挖掘出无法简单直观便可得到的新的模式,为电力企业 的stem startup"时表示防火墙已关闭,若后续服务部 署过程中机器重启无法实现节点之间的相互通信,可尝试检查防火墙是否关闭。
master节点的JDK安装与配置
由于Hadoop底层实现是用JAVA语言编写的,因此它的运行离不开JAVA运行环境(JRE) 的支持,这就需要JDKo JDK有多个更新版本,安装过程大致相同,这里选择安装最近更 。先将安装文件jdk-8u20-linux- /home/hadoop/下,在终端输入命令:tar xzvf jdk-8u20-linux-
进行解压安装,此时会产生文件夹“”,所得的JDK安装路径为 “/home/hadoop/ 20"。安装结束后打开/etc/profile 文件,配置 JDK 的 class path:在 terminal终端键入命令:sudo gedit /etc/profile打开profile文件,在文件末尾加上以下语句: #set java environment
export JAVA_HOME=/home/hadoop/jdk
export JRE_HOME=/home/hadoop/
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $JRE_HOME/bin: $PATH // /home/hadoop/是 hadoop 文件夹所在 路径,不可照抄,要以实际路径为准
保存之后,在terminal终端输入命令:source /etc/profile使其生效。并键入命令java -version 查看是否配置成功,若出现如下信息,则表示java环境变量配置成功。
java version ""
Java(TM) SE Runtime Environment (build -b26)
Java HotSpot(TM) Client VM (build -b23, mixed mode)
注:以上灰色背景标注的文字表示的Linux命令,红色字体颜色标注的文本表示的需要写入 的Hadoop环境配置文件中的信息,绿色字体颜色标注的小5号文本表示注释,下同
master节点的hadoop安装与配置
Hadoop的安装是Hadoop平台搭建的关键步骤,将从 hadoop-,进行解压安装,输入命令:tar xzvf hadoop-
安装完成后配置环境变量:在系统文件/etc/profile以及Hadoop的安装目录 /home/hadoop/hadoop-。

打开/etc/profile 文件,在 terminal 终端键入命令:sudo gedit /etc/profile 调出 profile 文件,在 文件末尾加上:
# set hadoop environment
export HADOOP_HOME=/home/hadoop/hadoop-
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
然后保存,在终端键入命令source /etc/profile使其生效。
异常处理1:
问题:保存添加的环境变量并使其生效后,terminal可能会出现如下警告:
(gedit:2949): Gtk-WARNIN G **: Attempting to set the permissions of
Vroot/.local/share/recently-, but failed: No such file or directory
(gedit:2949): Gtk-WARNIN G **: Attempting to store changes into
v/root/.local/share/r