文档介绍：Cookbook of hadoop 之环境搭建
Hadoop 是一个实现了MapReduce的开源分布式并行计算框架,借助hadoop我们轻松的编写分布式并行程序,完成海量数据的计算。随着业务的发展,数据量的增长,hadoop的使用越来越广泛,近期接手了一个运行于云梯的hadoop程序,而每次编写完代码都要打包成jar文件,上传到云梯调试也是极其不方便的(想想开发web应用,如果每次都要打包成war文件,然后部署到tomcat/jetty运行,后面的我就不多说了.....),因此就在本地部署一个hadoop的伪分布式环境,并配置了eclipse插件便于开发调试,本文分享了在win7上面搭建hadoop开发环境的过程,作为抛砖引玉之用,方便大家交流学****br/>准备工作:
安装jdk,配置环境变量。()
安装cygwin,同时安装openssh程序,配置环境变量。
安装ant,配置环境变量(因为后面需要手工编译hadoop-eclipse插件)。()
安装hadoop,配置环境变量。(,)
以上所有程序都可以在官网获得。
安装&配置jdk(略)。
安装cygwin,注意勾选openssh。
将cygwin加入环境变量。
配置ssh,执行以下命令。
安装sshd:$ ssh-host-config
启动sshd服务:$ net start sshd
配置免密码登录用户:$ ssh-user-config
检查可登录localhost:$ ssh localhost
成功画面如下
安装ant,将%安装目录%\bin加入path。
安装hadoop,将安装目录作为HADOOP_HOME, 将%HADOOP_HOME%\bin加入path。
配置hadoop伪分布式环境
conf/core-
<configuration>
<property>
<name></name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

conf/hdfs-
<configuration>
<property>
<name></name>
<value>1</value>
</property>
<property>
<name></name>
<value>false</value>
</property>
</configuration>
<!--  -它决定着系统里面的文件块的数据备份个数。对于一个实际的应用,它 应该被设为3(这个数字