文档介绍：HDFS+MapReduce+Hive 十分钟快速入门一见 2009-8-19 1. 前言本文的目的是让一个从未接触 Hadoop 的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。 2. Hadoop 家族截止 2009-8-19 日,整个 Hadoop 家族由以下几个子项目组成: 成员名用途备注 mon Hadoop 体系最底层的一个模块,为 Hadoop 各子项目提供各种工具,如:配置文件和日志操作等。 Avro Chukwa HBase Bigtable 的实现 HDFS 分布式文件系统 Hive 定位于数据仓库,提供类 SQL 接口 HQL MapReduce 实现了 MapReduce 编程框架 Pig ZooKeeper 3. 演练环境 . 操作系统 SuSE10 , , 32 位版本。 . Hadoop Hive 通过 SVN 直接从网上下载原代码, 其它采用 hadoop- 二进制安装包, 所以只需要编译 Hive 。另外,请注意要下载 2008-8-19 号之前的 Hive , 2008-8-19 提交的 Hive 版本在 hadoop- 上编译通不过,原因是: Hive 源代码根目录\ql\src\\apache\hadoop\hive\ql\exec\ a 文件中多了一行: HDFS+MapReduce+Hive 十分钟快速入门 2 .; . Hive 在 版本的 Hadoop 二进制安装包中, 并没有集成 Hive , 所以 Hive 需要自己编译, 编译时需要使用到 ant 和 ivy 两个工具,而且依赖于 Hadoop 。 . Java 运行 Hadoop 和编译 Hive ,都需要使用到 Java ,所以需要第一个安装的是 Java 。 . 机器演练时,在 3 台机器上搭建 Hadoop 集群,假设这 3 台机器如下表所示: 机器名机器 IP 用途 Hadoop-A 用作 Master Hadoop-B 用作 Slave Hadoop-C 用作 Slave 注意事项: 机器名中不能包括下划线“_”, 但可以包括横线, 可以使用不带参数的 hostnam e 来查看机器名,修改机器名方法为: hostname 机器名,如: hostname Hadoop-A 。 . 安装列表安装说明 Java A、B和C 三台机器都需要安装 Hadoop A、B和C 三台机器都需要安装 Hive 只需要在 B和C 两台机器上安装,也就是 Slave 机器不需要安装 ant 只需要在 B和C 两台机器上安装,也就是 Slave 机器不需要安装 ivy 只需要在 B和C 两台机器上安装,也就是 Slave 机器不需要安装注意事项:为求简单所有操作均以 root 用户完成,实际上可以使用非 root 用户,但环境变量就不能直接在/etc/profile 文件中添加了。 . 安装路线 HDFS+MapReduce+Hiv