1 / 20
文档名称:

Hadoop云计算平台搭建方案2.1.doc

格式:doc   大小:680KB   页数:20页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop云计算平台搭建方案2.1.doc

上传人:892629196 2020/11/8 文件大小:680 KB

下载得到文件列表

Hadoop云计算平台搭建方案2.1.doc

相关文档

文档介绍

文档介绍:Hadoop云盘算平台搭建方案
一、平台搭建概述

针对付电网企业在营销办事领域展开的大数据阐发处理惩罚,搭建Hadoop云盘算平台进行海量数据存储,并作深条理加工、处理惩罚,挖掘出无法简单直观便可得到的新的模式,为电力企业的决策提供指导。平台采取Hadoop-,将其摆设在4个物理盘算机节点上,搭建Hadoop集群,其中1个节点作为master节点,其余3个作为slave节点。为了获取更好的稳定性,平台搭建在Linux系统(ubuntu--desktop-i386)情况下。

软件
描述
版本
VMware Workstation
虚拟化软件
VMware Workstation
Ubuntu
Linux操纵系统
ubuntu--desktop-i386
JDK
Java的软件开发东西包

Hadoop
开源的云盘算底子框架
Hadoop-
HBase
漫衍式数据存储系统
Hbase-
Zookeeper
Hadoop可靠协调系统
Zookeeper-
Sqoop
数据迁移东西
Sqoop-

在平台搭建前,给出实现的总流程图和节点信息一览表,从而对平台搭建历程和各节点信息有一个全局的认识,平台搭建总流程如下图所示。
创建虚拟机master,完成JDK、Hadoop等应用的安装和配置
对虚拟机master进行克隆,得到的虚拟机分别作为slave1、slave2和slave3
完成Zookeeper、HBase等其它漫衍式办事的摆设,搭建Hadoop集群
运行并测试Hadoop集群系统

各节点信息如下表所示:
呆板名
IP地点
用户名
充当脚色
master

hadoop
JobTracker、Namenode
slave1

hadoop
TaskTracker、Datanode
slave2

hadoop
TaskTracker、Datanode
slave3

hadoop
TaskTracker、Datanode
二、底子平台的搭建步调
此次大数据存储和处理惩罚平台的搭建,需要4台物理节点来摆设Hadoop平台情况。我们使用虚拟机软件VMware Workstation创建4台虚拟机,承载平台搭建事情。另外,由于对4台虚拟机的配置大部分是相同的,所以利用VMware Workstation的克隆成果,可以淘汰摆设的事情量。
Workstation
首先在4台PC呆板上均安装虚拟化软件VMware Workstation,并输入相应的序列号。

在设定为master PC节点上首先安装Linux系统(版本为ubuntu--desktop-i386),在安装历程中为提高后期安装软件的兼容性和稳定性,在系统语言上选择英语。创建用户名为“hadoop”的普通用户,设置统一的密码。安装完成后将系统的terminal命令窗口调出来,以便使用。
同时,为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文字复制粘贴以及物理主机系统与虚拟机系统相互拖放文件进行共享,需要安装VMare Tools东西,具体操纵如下:
启动虚拟机,进入Ubuntu系统,在VM菜单栏“虚拟机(M)”的下拉菜单点击“安装VMare Tools(T)”后,会弹出一个“VMare Tools”文件夹,里面包罗VMare Tools的安装包VMwareTools--,将该安装包拷贝到/home/hadoop目录下,输入命令进行解压安装:tar xzvf VMwareTools--
此时在/home/hadoop/目录下产生vmware-tools-distrib文件夹,进入该目录,通过在terminal终端输入相应命令,运行vmware-:
cd /home/hadoop/vmware-tools-distrib //进入目录
sudo ./ vmware- //执行vmware-
按提示多次“回车”直至