Hadoop-HDFS基础篇.pptx

文档介绍：Hadoop Basics -HDFS Johnson Jiang May. 2015 2 什么是 Hadoop ?? Hadoop 是–?–?–?–? Apache 开源软件基金会开发的运行于大规模普通服务器上的用于大数据存储、计算、分析的分布式存储系统和分布式运算框架?? Hadoop 由两个部分组成–?分布式文件系统 HDFS –?分布式运算框架 MapReduce ?? Hadoop 这个单词是什么意思? –?它是作者儿子的一个毛绒玩具小象的名字 Hadoop 版本图 4 Hadoop 生态环境 5 HDFS 结构内容? NameNode ?存储元数据?元数据保存在内存中?保存文件,block , datanode 之间的映射关系 DataNode ?存储文件内容?文件内容保存在磁盘?维护了 block id 到 datanode 本地文件的映射关系文件文件切分成块(默认大小 64M ),以块为单位,每个块有多个副本存储在不同的机器上,副本数可在文件生成时指定(默认 3) NameNode 是主节点,存储文件的元数据如文件名,文件目录结构, 文件属性( 生成时间,副本数,文件权限),以及每个文件的块列表以及块所在的 DataNode 等等 DataNode 在本地文件系统存储文件块数据,以及块数据的校验 Namenode 是一个中心服务器,单一节点,负责管理文件系统的名字空间(namespace) 以及客户端对文件的访问文件操作, NameNode 负责文件元数据的 DataNode 负责处理文件内容的读写请求,数据流不经过 NameNode ,只会询问它跟那个 DataNode 联系副本存放在那些 DataNode 上由 NameNode 来控制,根据全局情况做出块放置决定,读取文件时 NameNode 尽量让用户先读取最近的副本,降低带块消耗和读取时延 Namenode 全权管理数据块的复制,它周期性地从集群中的每个 Datanode 接收心跳信号和块状态报告( Blockreport )。接收到心跳信号意味着该 Datanode 节点工作正常。块状态报告包含了一个该 Datanode 上所有数据块的列表。块存储结构 metadate 物理存储结构 NameNode (NN)