文档介绍：hadoop面试题————————————————————————————————作者:————————————————————————————————日期: Hadoop就业面试宝典简要描述如何安装配置apache的一个开源hadoop,只描述即可,无需列出具体步骤,列出具体步骤更好。答:第一题:1使用root账户登录2修改IP3修改host主机名4配置SSH免密码登录5关闭防火墙6安装JDK6解压hadoop安装包7配置hadoop的核心文件hadoop-,core-,mapred-,hdfs--format10启动节点start-;列出正常的hadoop集群中hadoop都分别需要启动哪些进程,他们的作用分别都是什么,请尽量列的详细一些。答:namenode:管理集群,存储数据的原信息,并管理记录datanode中的文件信息。Secondname:可以做冷备,对一定范围内数据做快照性备份。Datanode:存储数据Jobtracker:管理任务,并将任务分配给tasktracker。Tasktracker:执行JobTracker分配的任务。 (1)杀死一个job(2)删除hdfs上的/tmp/aaa目录(3)加入一个新的存储节点和删除一个节点需要执行的命令答:(1)hadoopjob–list得到job的id,然后执行hadoopjob-killjobId就可以杀死一个指定jobId的job工作了。(2)hadoopfs-rmr/tmp/aaa(3)增加一个新的节点在新的几点上执行然后在主节点中执行hadoopdfsadmin-refreshnodes 删除一个节点的时候,只需要在主节点执行hadoopmradmin-refreshnodes请列出你所知道的hadoop调度器,并简要说明其工作方法答:Fifoschedular:默认,先进先出的原则Capacityschedular:计算能力调度器,选择占用最小、优先级高的先执行,依此类推。Fairschedular:公平调度,所有的job具有相同的资源。请列出你在工作中使用过的开发mapreduce的语言答:java,hive当前日志采样格式为a,b,c,db,b,f,ea,a,c,f请你用最熟悉的语言编写mapreduce,计算第四列每个元素出现的个数 StaticfinalString答:lassWordCount1{ publicstaticfinalStringINPUT_PATH="hdfs://hadoop0:9000/in"; publicstaticfinalStringOUT_PATH="hdfs://hadoop0:9000/out"; publicstaticvoidmain(String[]args)throwsException{ Configurationconf=newConfiguration(); FileSystemfileSystem=(conf); if((newPath(OUT_PATH))){} (newPath(OUT_PATH),true); Jobjob=newJob(conf,()); //,解析成key,value对 (job,newPath(INPUT_PATH)); //,对输入的可以,value进行处理,转换成新的key,value对进行输出 (); (); (); ////,分组,相同key的value放到一个集合中//////,对map输出的数据进行处理 (); (T