文档介绍：第一章: Hadoop 伪分布式配置手册
第一步: 安装虚拟机环境
虚拟机环境:VMware workstation
Centos
文件资源: 安装过程中所需要的 Centos, Jdk, Hadoop 包等可以在
如下地址获取 ftp:///
虚拟机安装:由于机器性能和内存所限,安装虚拟机的时候请调低内存大小,建议调至512M。在安装Centos系统时请选择命令行模式,尽量不要以图形界面安装,要不然在做虚拟机集群的时候会很卡。
关闭防火墙:
用chkconfig iptables off 命令关linux掉防火墙
配置虚拟机网络访问方式
重启系统
启动网卡:在虚拟机安装好CentOS后,网卡默认没有启动。通过
“ ifup eth0 ”命令启动网卡(如果你的网卡不是eth0, 则选则相应网卡)以便后续通过ssh 工具将安装文件从windows 主机传至虚拟机
第二步: 创建Hadoop 用户
使用groupadd 创建一个的组 hadoop 命令:groupadd hadoop
向hadoop组中加入hadoop用户:useradd –g hadoop 和hadoop
创建hadoop 组用户密码:
第三步: 配置 SSH无密码登录
(http://jingyan./article/)
在root 用户下修改/etc/ssh/sshd_config,将其中三行的
注释去掉, 如下所示:
切换至hadoop 用户下, 用”ssh-keygen -t rsa”命令生成密钥对:ssh-keygen -t rsa -P ''
切换到cd /home/hadoop/目录, 文件夹权限为700
chmod 700 .ssh
/.ssh 生成authorized_keys 并将其权限设为 600
用ssh localhost 测试结果(CentOS 装好以后没有ssh-client,所以还需下载并安装ssh-client 才能运行ssh 命令yum install openssh-clients)
第四步: 安装JDK
在root 用户下安装JDK,安装好的jdk 在/usr/java下
配置环境变量:
在/etc/profile中加入两个新的变量JAVA_HOME和PATH
#Add envirable for jdk and hadoop
JAVA_HOME=/usr/java/
PATH=$PATH:$JAVA_HOME/bin
执行source /etc/profile
验证环境变量:
第五步: 安装Hadoop
在root用户下将hadoop 文件解压到/usr/local 下.
tar -zxvf hadoop- -C /usr/local/
将hadoop 用户赋予解压后的hadoop 文件 chown -R hadoop:hadoop hadoop-
修该hadoop文件的权限为775
chmod –R 755 hadoop-
修改环境变量
JAVA_HOME=/usr/java/
$JAVA_HOME/bin:$PATH
HADOOP_HOME=/usr/local/hadoop-
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/Sbin
在/var 下创建hadoop 文件夹用于保存节点数据文件,同时将hadoop组用户赋予该文件夹并将其权限改为775
修改hadoop 环境变量文件
分别在如下两个文件中,添加环境变量设置:
${HADOOP_HOME}/etc/hadoop/hadoop-
${HADOOP_HOME}/etc/hadoop/yarn-
注明:HADOOP_HOME 就是安装hadoop的文件夹,在本示例中即代表”/usr/local”
配置设置如下:
export JAVA_HOME=/usr/java/
export HADOOP_HOME=/usr/local/hadoop-
export HADOOP_LOG_DIR=/var/hadoop/logs
export MON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_O