1 / 7
文档名称:

hadoop学习笔记.doc

格式:doc   大小:101KB   页数:7页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop学习笔记.doc

上传人:文库旗舰店 2022/6/12 文件大小:101 KB

下载得到文件列表

hadoop学习笔记.doc

相关文档

文档介绍

文档介绍:Hadoop学一 简要介绍
内容摘要:Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能。Nutch是一个应用程序,是一个以Lucene为基础实 8]。Reduce是对一组数据进行归约,这个归约的规则由一个函数指定,比如对[1, 2, 3, 4]进行求和的归约得到结果是10,而对它进行求积的归约结果是24。
  关于MapReduce的内容,建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over!
  好了,作为这个系列的第一篇就写这么多了,我也是刚开始接触Hadoop,下一篇就是讲Hadoop的部署,谈谈我在部署Hadoop时遇到的问题,也给大家一个参考,少走点弯路。
Hadoop学二 安装部署
内容摘要:本文主要是以安装和使用hadoop-,指出在部署Hadoop的时候容易遇到的问题以及如何解决。
本文主要是以安装和使用hadoop-,指出在部署Hadoop的时候容易遇到的问题以及如何解决。
硬件环境
共有3台机器,均使用的FC5系统,。IP配置如下:
dbrg-1:
dbrg-2:
dbrg-3:
这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析。
一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能ping通就OK!若不能正确解析,可以修改/etc/hosts文件,如果该台机器作Namenode用,则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名;如果该台机器作Datanode用,则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。
以本文为例,dbrg-1中的/etc/hosts文件看起来就应该是这样的:
         localhost     localhost
     dbrg-1        dbrg-1
     dbrg-2        dbrg-2
     dbrg-3        dbrg-3
dbrg-2中的/etc/hosts文件看起来就应该是这样的:
         localhost    localhost
     dbrg-1       dbrg-1
     dbrg-2       dbrg-2
在上一篇学中提到过,对于Hadoop来说,在HDFS看来,节点分为Namenode和Datanode,其中Namenode只有一个,Datanode可以是很多;在MapReduce看来,节点又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是很多。
我是将namenode和jobtracker部署在dbrg-1上,dbrg-2,