1 / 20
文档名称:

Hadoop云计算平台搭建方案2.docx

格式:docx   大小:799KB   页数:20页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop云计算平台搭建方案2.docx

上传人:我是开始 2022/6/4 文件大小:799 KB

下载得到文件列表

Hadoop云计算平台搭建方案2.docx

相关文档

文档介绍

文档介绍:Hadoop云计算平台搭建方案
一、平台搭建概述

针对于电网企业在营销服务领域展开的大数据分析处理,搭建Hadoop云计算平台进行海量
数据存储,并作深层次加工、处理,挖掘出无法简单直观便可得到的新的模式,为电力企业查防火墙是否关闭。
master节点的JDK安装与配置由于Hadoop底层实现是用JAVA语言编写的,因此它的运行离不开JAVA运行环境(JRE)的支持,这就需要JDK。JDK有多个更新版本,安装过程大致相同,这里选择安装最近更新的版本
。先将安装文件jdk-8u20-linux-,在终端输入命令:tarxzvfjdk-8u20-linux-,此时会产生文件夹“”,所得的JDK安装路径为"/home/hadoop/”。安装结束后打开/etc/profile文件,配置JDK的classpath:在terminal终端键入命令:sudogedit/etc/profile打开profile文件,在文件末尾加上以下语句:
#setjavaenvironmentexportJAVA_HOME=/home/hadoop/=/home/hadoop/=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH///home/hadoop/是hadoop文件夹所在路径,不可照抄,要以实际路径为准保存之后,在terminal终端输入命令:source/etc/profile使其生效。并键入命令javaversion查看是否配置成功,若出现如下信息,则表示java环境变量配置成功。
javaversion""Java(TM)SERuntimeEnvironment(-b26)JavaHotSpot(TM)ClientVM(-b23,mixedmode)注:以上灰色背景标注的文字表示的Linux命令,红色字体颜色标注的文本表示的需要写入的Hadoop环境配置文件中的信息,绿色字体颜色标注的小5号文本表示注释,下同master节点的hadoop安装与配置Hadoop的安装是Hadoop平台搭建的关键步骤,将从-,进行解压安装,输入命令:tarxzvfhadoop-:在系统文件/etc/profile以及Hadoop的安装目录/home/hadoop/hadoop-。
,在terminal终端键入命令:sudogedit/etc/profile调出profile
文件,在文件末尾加上:
#sethadoopenvironmentexportHADOOP_HOME=/home/hadoop/hadoop-=$HADOOP_HOME/bin:$PATHexportPATH=$HADOOP_HOME/sbin:$PATH然后保存,在终端键入命令source/etc/profile使其生效。
异常处理1:
问题:保存添加的环境变量并使其生效后,terminal可能会出现如下警告:
(gedit:2949):Gtk-WARNING**:Attemptingtosetthepermissionsof'/root/.local/share/recently-',butfailed:Nosuchfileordirectory(gedit:2949):Gtk-WARNING**:Attemptingtostorechangesinto'/root/.local/share/recently-',butfailed:Failedtocreatefile'/root/.local/share/recently-':Nosuchfileordirectory(gedit:2949):Gtk-WARNING**:Attemptingtosetthepermissionsof'/root/.loca