文档介绍:Hadoop云计算平台搭建方案
一、平台搭建概述
总体思路
针对于电网企业在营销服务领域展开的大数据分析处理,搭建Hadoop云计算平台进行海量 数据存储,并作深层次加工、处理,挖掘出无法简单直观便可得到的新的模式,为电力企业 的决策:/usr/bin/vi /etc/profile打开etc/profile文件,找到最近在末尾加上的hadoop配置文件,按delete
键删除这些行,然后键入命令:wq!(注意此处有冒号,不可省略)保存文件。然后同时按下 ctrl+alt+del重启系统即可使系统恢复正常登陆,然后按照上述方法重新配置。
目录设置
在普通用户hadoop下创建hadoop的数据存储目录(若使用root用户创建上述文件夹则会 因权限问题导致无法向这些文件夹中写入并读取数据),可自行选择数据存储的路径,我们 选择在/home/hadoop/文件夹下创建dfs和tmp作为数据存储与交换的目录,并在dfs文件 夹下创建name和data两个子文件夹。分别执行命令:
mkdir /home/hadoop/dfs/name
/description>
</property>
<property> <name>
<value>*</value>
</property>
<property>
<name> <value>*</value>
</property>
</configuration>
(4)配置文件,打开该文件,在文件末尾添加以下语句。
文件名
打开文件后,在其末尾添加语句:
<configuration>
<property>
<name> <value> </property>
<property>
<name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name></name>
<value>4</value>
</property>
<property>
<name> <value>true</value>
</property>
</configuration>
注意:需要在中配置属性时,属性指定HDFS中文件块复制的份数,其默认值为3,当datanode 节点少于3台便会报错。在一般情况下,当其属性值为3的时候,HDFS的部署策略是在本
地机柜中一个节点放置一个备份,在本地机柜的不同结点再放置一个备份,然后再在另一个 机柜中的一个结点放置一个备份。
(5)配置文件。事实上在进行配置之前,文件默认并不存在,需要首先将该目录下的文件 进行复制,并重命名为,接下来打开,添加以下语句。
文件名
打开文件后,在其末尾添加语句:
<configuration>
<property>
<name> <value>yarn</value>
</property>
<property>
<name> <value> </property>
<property>
<na