文档介绍：HDFS读文件解析
下图描述了在文件读过程中,client、NameNode和DataNode三者之间是如何互动的。
1. client调用get方法得到HDFS文件系统的一个实例(DistributedFileSystem)。然后调用它的open方法。
2. DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck,NameNode返回block所在的DataNode(包括副本)的地址。DistributedFileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。
3. client调用FSDataInputStream的read方法。
4. DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode,read block数据,传回给client。
5. 当第一个block读完,DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。
6. 当client读结束,调用FSDataInputStream的close方法。
在读的过程中,如果client和一个datanode通讯时出错,他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上,NameNode只负责block的位置信息请求。
HDFS写文件解析
我们看一下创建文件,写文件最后关闭文件的流程。如下图:
1. client通过调用DistributedFileSystem的create方法来创建文件。
2. DistributedFileSystem通过RPC调用NameNode在文件系统的名字空间里创建一个文件,这个时候还没有任何block信息。DistributedFileSystem返回FSDataOutputStream给client。FSDataOutputStream封装了一个DFSOutputStream来处理与datanodes和namenode之间的通讯。
3. 当client写一个block数据的时候,DFSOutputStream把数据分成很多packet。FSDataOutputStream询问namenode挑选存储这个block以及它的副本的datanode列表。这个datanode列表组成了一个管道,在上图管道由三个datanode组成(备份参数是3),这三个datanode的选择有一定的副本放置策略,详细请看下一篇。
4. FSDataOutputStream把packet写进管道的第一个datanode,然后管道把packet转发给第二个datanode,这样一直转发到最后一个datanode。
5. 只有当管道里所有datanode都返回写入成功,这个packet才算写成功,发送应答给FSDataOutputStream。开始下一个packet。
如果某个datanode写失败了,会产生如下步骤,但是这些对client是透明的。
1) 管道关闭。
2) 正常的datanode上正在写的block会有一个新ID(需要和namenode通信)。这样失败的datanode上的那个不完整的block在上报心跳的时候会被删掉。
3) 失败的datanode会被移出管道。block中剩余的packet继续写入管道的其他两个datanode
4) namenode会标记这个block的副本个数少于指定值。block的副本会稍后在另一个datanode创建。
5) 有些时候多个datanode会失败。(缺省是1)个datanode成功了,整个写入过程就算成功。缺少的副本会异步的恢复。
6. 当client完成了写所有block的数据后,调用FSDataOutputStream的close方法关闭文件。
7. FSDataOutputStream通知namenode写文件结束。
HDFS文件创建流程
文件夹的创建是一个相对简单的过程,主要是通过FileSystem中的mkdirs()方法,这个方法在DFSClient实例中调用同名方法mkdirs(),通过Hadoop本身的RPC机制调用Namenode的mkdirs()方法,最终这个调用PUSH到FSNameSystem