云计算之HDFS.ppt

文档介绍：云计算之HDFS
*
Hadoop
吃水不忘挖井人
Doug Cutting
Lucene（开源的全文检索包人）、 Nutch（开源搜索引擎）、hadoop创始人。曾经在是雅虎搜索工程师，后面加入Cloudera,发展hadoo会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止
*
HDFS VS. GFS
总体架构的比较
数据结构化管理组件：Hbase→BigTable
并行计算模型：MapReduce→MapReduce
分布式文件系统：HDFS→GFS
Hadoop缺少分布式锁服务Chubby
HBase
MapReduce
HDFS
BigTable
MapReduce
GFS
Hadoop云计算应用
Google云计算应用
*
HDFS VS. GFS
HDFS与GFS比较
中心服务器模式的差异
GFS：多台物理服务器，选择一台对外服务，损坏时可选择另外一台提供服务
HDFS：单一中心服务器模式，存在单点故障
原因：Hadoop缺少分布式锁服务
*
HDFS VS. GFS
HDFS与GFS比较
子服务器管理模式差异
GFS：Chunk Server在Chubby中获取独占锁表示其生存状态，Master通过轮询这些独占锁获知Chunk Server的生存状态
HDFS：DataNode通过心跳的方式告知NameNode其生存状态
GFS中，Master损坏时，替补服务器可以快速获知Chunk Server的状态
HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获知DataNode的状态
在添加数据存储节点时，GFS的伸缩性较HDFS要好
原因：Hadoop缺乏分布式锁服务
*
HDFS VS. GFS
HDFS与GFS比较
HDFS具备安全模式
获知数据块副本状态，若副本不足，则拷贝副本至安全数目（如3个）
GFS不具备安全模式
副本损坏处理：API读取副本失败时，Master负责发起拷贝任务
*
HDFS VS. GFS
HDFS与GFS比较
HDFS具备空间回收机制
文件删除时，仅删除目录结构
实际数据的删除在等待一段时间后实施
优点：便于恢复文件
*
HDFS API
简单的HDFS API：
 (path srcPath, path dstPath)  上传本地文件到HDFS的指定位置上
eg:
config = new Configuration(); hdfs = (config); srcPath = new Path(srcFile); dstPath = new Path(dstFile); (srcPath, dstPath);
 (path path)  创建HDFS文件
config = new Configuration(); hdfs = (config); path = new Path(fileName); outputStream = (path); (buff, 0, );
*
HDFS API
常用的HDFS API：
(Path fromPath, Path toPath) 重命名hdfs文件
(Path f, Boolean recursive) 删除指定HDFS文件
(Path path) 检查指定路径是否存在
*
HDFS --安防行业的应用前景
HDFS存储相对传统存储的优势
硬盘使用寿命
传统存储：硬盘每天24小时不停的读写，造成寿命锐减。
HDFS存储：多硬盘并行工作，负载均衡保证不会过度使用硬盘
*
HDFS --安防行业的应用前景
HDFS存储相对传统存储的优势
海量数据存储
传统存储：海量视频存储对硬盘要求过高，不能动态增加硬盘容量，扩展容量方便
HDFS存储：可以动态增加容量，容量抽象为没有上限，流式存储很适合视频数据。
*
HDFS --安防行业的应用前景
HDFS存储相对传统存储的优势
海量数据分析
传