文档介绍：第 33 卷第 5 , .5
Vol No
2013 年 10
Journal of Hangzhou Dianzi University Oct
: /. .1001 - -027
doi j issn
ZFS 在基于 Hadoop 的视频存储系统中的应用
高煜红1 ,陈清华2 ,方路平1
(,浙江杭州 310023;,浙江嘉兴 314006)
摘要:随着视频点播技术的不断发展,视频数据呈现出爆炸式增长,对文件存储及其扩容性方面提
出了苛刻的要求。该文首先简单地描述了数据存储服务集群及该集群主要采用分布式平台-
Ha
,使用动态文件系统作为后端存储文件系统。接着简单介绍了的特性,其次着重介
doop ZFS ZFS
绍在上的集成设计,最后通过相应的实现和性能比较测试,证明文件系统在
ZFS HDFS ZFS ZFS
视频文件存储中具有很好的应用价值。
关键词:分布式;存储;动态文件系统;扩容
中图分类号: 文献标识码: 文章编号:1001 -9146(2013)05 -0102 -04
TN A
0 引言
近年来,随着视频点播等关键应用对数据的依赖日益加深,企业对数据存储系统的业务需求朝着高扩
展、高可靠的方向不断发展,这给存储系统带来了很大的挑战。开源分布式平台相较于其他集中
Hadoop
存储的模式具有一定的优势。它最底层采用的是它自带分布式文件系统(
Hadoo[p1,2] Hadoop Distributed File
, ),存储着集群中所有存储节点上的文件。面向点播的云存储系统其本质上是一
System HDFS Hadoop
个分布式文件系统,将物理分布的存储资源最大限度地聚集在一起,把磁盘和内存等硬件存储资源聚合成
一个或者多个资源池。基于动态文件系统( , )具有存储池管理和高度扩展性的
[3,4] Zettabyte File System ZFS
优点。这两者结合起来的研究在当前并不多,为此本文结合了的优秀特性,令构建的存储
ZFS ZFS
池与文件系统相互集成,这样整个存储系统具备可持续扩展的存储能力,满足未来的需求。
HDFS
1 系统架构图
由于视频文件的尺寸相对其他的文件类型需要更多的存储空间,因此云存储点播系统需要考虑系
统自身提供的数据高可靠性和与日俱增的海量数据增长所带来的系统扩展性,系统在部署、管理时的复
杂性也需考虑。云存储点播系统主要采用的系统框架如图 1 所示。包括数据存储服务器集群、流媒体
服务器、应用服务器、移动终端等模块。
Web
图 1 中,对于后端的数据存储服务器集群,采用作为存储集群的基础, 为集群中
Hadoop namenode
的主节点,主要负责集群中元数据的管理和整个集群的动态管理, 1, 2, 3 等作为集群的数
node node node
据存储节点,所有文件存储在这些节点当中,具有一定的程度的冗余备份。在各个存储节点上,通过
文件系统将大量硬盘构成存储池,作为的后端文件系统,实现对各个存储节