Hadoop使用手册(第一版) 修订版.doc

文档介绍：华中科技大学
魏立徐水波
012-3-4 d

2012-7-29
Hadoop使用手册
--Hadoop安装部署及应用
目录
第一部分 Hadoop安装与部署 3
第一节 Hadoop部署 3
3
4
4
5
第二节单机伪分布 6
6
HDFS 7
7
7
7
7
7
第三节完全分布 8
8
8
8
9
9
10
10
11
11
11
第四节在eclipse下使用Hadoop 12
12
12
12
12
13
14
14
14
14
14
14
15
第二部分 Hadoop的小应用实例 15
数据去重 15
15
15
16
16
18
24
第三部分 Hadoop大型应用介绍 25
25
26
26
29
第二节 Rackspace系统日志分析举例 29
29
30
30
32
第一部分 Hadoop安装与部署
第一节 Hadoop部署

注意:如果下的包不一致,请在安装与配置阶段注意修改对应参数。由于Ubuntu和Eclipse包过大,通过官网下载速度也相当快,这里就不发布共享了,我把Hadoop和JDK共享到我的网盘( /file/ben1bt8x# ),以便下载。
Ubuntu系统(具体版本不限)
说明: 到官网上下载Ubuntu镜像,可以刻盘安装,也可以用wubi安装,这里选择32位或64位直接决定着jdk包的选择(建议选32位),选择32位,则后面jdk选择i586系列,选择64位则jdk选择x64系列,安装ubuntu时请断网(不断网会Ubuntu安装过程中会更新,导致安装时间过长)操作,之后配置请联网。
Hadoop
说明:到-/
下载hadoop-。
Java6-jdk包
说明:这里我下载的是后缀为bin的文件。
SSH包
说明:在终端中输入 sudo apt-get install ssh ,联网下载安装,安装过程中可能由于网络原因,出现安装问题,这个问题一段时间后网络状况好可安装成功。也可以通过更改Ubuntu的源来解决这个问题。
Eclipse包
说明:到nloads/处下载Linux版本的安装包或者直接在ubuntu软件中心内下载安装eclipse。推荐在Ubuntu平台下下载,不要在Window上下载,容易出问题,在实验中遇到过这样的问题,可能与平台兼容性有关。




(括号内容为说明,请复制前面的代码到终端执行)

在终端中输入
(1)sudo mkdir /usr/Java (新建Java文件夹)
sudo cp jdk的路径/usr/Java
(jdk的路径可以采用直接将文件拖入终端而后显示的方式)
(2)cd /usr/Java (进入到Java目录下)
sudo chmod u+x jdk-6u26-dlj-linux-