hadoop面试题总结1.docx

文档介绍：hadoop面试题总结1 a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker 答案Cdatanode a)3份b)2份c)1份d)不确定答案A默认3分 a)SecondaryNameNodeb)DataNodec)TaskTrackerd)Jobtracker 答案D 分析: hadoop的集群是基于master/slave模式,namenode和jobtracker属于master,datanode和tasktracker属于slave,master只有一个,而slave有多个 SecondaryNameNode内存需求和NameNode在一个数量级上,所以通常secondaryNameNode(运行在单独的物理机器上)NameNode运行在不同的机器上。 JobTracker和TaskTracker JobTracker对应于NameNode TaskTracker对应于DataNode DataNode和NameNode是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念,mapreduce整体上可以分为这么几条执行线索:jobclient,JobTracker与TaskTracker。并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask) 并将它们分发到各个TaskTracker服务中去执行并监控它们,如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。 TaskTracker都需要运行在HDFS的DataNode上 a)MartinFowlerb)KentBeckc)Dougcutting 答案CDougcutting a)32MBb)64MBc)128MB 答案:B (因为版本更换较快,这里答案只供参考) a)CPUb)网络c)磁盘IOd)内存答案:C磁盘处理能力强 ,但是并不是瓶颈。 ,读写数据都需要io,然后还要冗余数据,hadoop一般备3份数据,所以IO就会打折扣。同样可以参考下面内容(磁盘IO:磁盘输出输出) 对于磁盘IO:当我们面临集群作战的时候,我们所希望的是即读即得。可是面对大数据,读取数据需要经过IO,这里可以把IO理解为水的管道。管道越大越强,我们对于T级的数据读取就越快。所以IO的好坏,直接影响了集群对于数据的处理。集群瓶颈:磁盘IO必读集群瓶颈为什么磁盘io a)它是NameNode的热备b)它对内存没有要求 c)它的目的是帮助NameNode合并编辑日志,减少NameNode启动时间 d)SecondaryNameNode应与NameNode部署到一个节点答案C。 D答案可以参考第三题多选题: a)Puppetb)Pdshc)ClouderaManagerd)Zookeeper 答案1:ABD 具体可查看什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么修改后答案:ABC 分析: A:puppetpuppet是一种Linux、Unix、windows平台的集中配置管理系统 B:pdsh可以实现在在多台机器上执行相同的命令详细参考:集群管理小工具介绍-pdsh C:可以参考ClouderaManager四大功能【翻译】首先这里给管理下一个定义:部署、配置、调试、监控,属于管理因为zookeeper不满足上面要求,所以不纳入管理范围。 a)如果一个机架出问题,不会影响数据读写 b)写入数据的时候会写到不同机架的DataNode中 c)MapReduce会根据机架获取离自己比较近的网络数据答案ABC 具体可以参考 hadoop机架感知--加强集群稳固性,该如何配置hadoop机架感知 a)数据经过NameNode传递给DataNode b)Client端将文件切分为Block,依次上传 c)Client只上传数据到一台DataNode,然后由NameNode负责Block复制工作答案B 分析: Client向NameNode发起文件写入的请求。 NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。 Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。 HDFS体系结构简介及优缺点 a)单机版b)伪分布式c)分布式答案ABC