文档介绍:. -
. . -
Hadoop测试题
一.填空题,1分(41空),2分(42空)共125分
(每空1分) datanode 负责HDFS数据存储。
(每空1分)HDFS中的block默认保存 3份。
(每空1分) ResourceManager 程序通常与 NameNode 在一个节点启动。
(每空1分)hadoop运行的模式有:单机模式、伪分布模式、完全分布式。
(每空1分)Hadoop集群搭建中常用的4个配置文件为: core-、hdfs-
、 mapred- 、yarn-。
(每空2分)HDFS将要存储的大文件进行分割,分割后存放在既定的存储块中,并通过预先设定的优化处理,模式对存储的数据进行预处理,从而解决了大文件储存与计算的需求。
(每空2分)一个HDFS集群包括两大部分,即 namenode 与 datanode 。一般来说,一个集群中会有一个 namenode 和多个datanode 共同工作。
(每空2分) namenode 是集群的主服务器,主要是用于对HDFS中所有的文件及内容数据进行维护,并不断读取记录集群中datanode主机情况与工作状态,并通过读取与写入镜像日志文件的方式进行存储。
(每空2分) datanode 在HDFS集群中担任任务具体执行角色,是集群的工作节点。文件被分成若干个相同大小的数据块,分别存储在若干个datanode上,datanode会定期向集群内namenode发送自己的运行状态与存储内容,并根据namnode发送的指令进行工作。
. -
. . -
(每空2分) namenode 负责接受客户端发送过来的信息,然后将文件存储位置信息发送给client,由client直接与datanode 进行联系,从而进行部分文件的运算与操作。
(每空1分) block是HDFS的基本存储单元,默认大小是128M。
(每空1分)HDFS还可以对已经存储的Block进行多副本备份,将每个Block至少复制到
3个相互独立的硬件上,这样可以快速恢复损坏的数据。
(每空2分)当客户端的读取操作发生错误的时候,客户端会向namenode报告错误,并请求namenode排除错误的datanode后,重新根据距离排序,从而获得一个新的的读取路径。如果所有的datanode都报告读取失败,那么整个任务就读取失败。
(每空2分)对于写出操作过程中出现的问题,FSDataOutputStream并不会立即关闭。客户端向Namenode报告错误信息,并直接向提供备份的 datanode 中写入数据。备份
datanode 被升级为首选datanode,并在其余2个datanode中备份复制数据。NameNode对错误的DataNode进行标记以便后续对其进行处理。
(每空1分)格式化HDFS系统的命令为: hdfs namenode –format 。
(每空1分)启动hdfs的shell脚本为:start- 。
(每空1分)启动yarn的shell脚本为: start- 。
(每空1分)停止hdfs的shell脚本为:stop- 。
(每空1分)hadoop创建多级目录(如:/a/b/c)的命令为:hadoop fs –mkdir –p /a/b/c。
(每空1分)hadoop显示根目录命令为:hadoop fs –lsr 。
(每空1分)hadoop包含的四大模块分别是:Hadoop mon、 HDFS、Mapreduce 、yarn。
.