1 / 12
文档名称:

Hadoop云计算平台搭建规划方案x.docx

格式:docx   大小:24KB   页数:12页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop云计算平台搭建规划方案x.docx

上传人:薄荷牛奶 2022/6/3 文件大小:24 KB

下载得到文件列表

Hadoop云计算平台搭建规划方案x.docx

相关文档

文档介绍

文档介绍:Hadoop云计算平台搭建方案
一、平台搭建概述
总体思路
针对于电网企业在营销服务领域展开的大数据分析处理,搭建 Hadoop云计算平台进行海量
数据存储,并作深层次加工、处理, 挖掘出无法简单直观便可得到的新的模式,为电力企业
directory
解决方法:只需直接在终端中输入命令: sudo mkdir -p /root/.local/share/ ,创建
警告信息中所提示的目录即可。
若无视警告重启 ubuntu后将会出现以下情况:输入密码无法进入系统,一直处于输入密码 后又跳转回输入密码的界面。此时的解决方法是:在输入密码界面同时按下 alt+ctrl+F2
进入ubuntu命令模式,并使用 root 用户及对应密码登陆系统,然后键入: /usr/bin/vi
/etc/profile 打开etc/profile 文件,找到最近在末尾加上的 hadoop配置文件,按delete
键删除这些行,然后键入命令:wq !(注意此处有冒号,不可省略)保存文件。然后同时按下 ctrl+alt+del 重启系统即可使系统恢复正常登陆,然后按照上述方法重新配置。
目录设置
在普通用户hadoop下创建hadoop的数据存储目录(若使用 root用户创建上述文件夹则会 因权限问题导致无法向这些文件夹中写入并读取数据) ,可自行选择数据存储的路径,我们
选择在/home/hadoop/文件夹下创建 dfs和tmp作为数据存储与交换的目录,并在 dfs文件
夹下创建name和data两个子文件夹。分别执行命令: mkdir /home/hadoop/dfs/name
/description>
</property>
<property> <name> <value>*</value>
</property>
<property>
<name> <value>*</value>
</property>
</configuration>
(4)配置文件,打开该文件,在文件末尾添加以下语句。
文件名打开文件,
后,在其末尾添加语句:
<configuration>
<property>
<name> <value> </property>
<property>
<name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name></name>
<value>4</value>
</property>
<property>
<name> <value>true</value>
</property>
</configuration>
注意:需要在中配置属性时,属性指定HDFS中文件块复制的份数,其默认值为3,当datanode
节点少于3台便会报错。在一般情况下,当其属性值为 3的时候,HDFS的部署策略是在本
地机柜中一个节点放置一个备份, 在本地机柜的不同结点再放置一个备份, 然后再在另一个
机柜中的一个结点放置一个备份 。
(5)配置文件。事实上在进行配置之前,文件默认并不存在,需要首先将该目录下的文件 进行复制,并重命名为,接下来打开,添加以下语句。
文件名打开文件
后,在其末尾添加语句:
<configuration>
<property>
<name> <value>yarn</value>
</property>
<property>
<name> <value> </property>
<property>
<name> <value> </property>
</configuration>
(6)配置文件,打开该文件,在文件末尾添加以下语句。
文件名打开文件,
后,在其末尾添加语句:
</configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name> <value>mapreduce_shuffle</value>
</property>
<property>
<name> <value> </property>
<property>
<name> <value> </property>
<property>
<name> <value> </property>
<property>
<name>