文档介绍：华中科技大学
博士学位论文
海量存储资源管理关键技术研究
姓名:李洁琼
申请学位级别:博士
专业:计算机系统结构
指导教师:冯丹
2011-01
华中科技大学博士学位论文
摘要*
随着科学技术的发展,以计算为核心的信息系统正逐步向以数据为核心转移,
人们对信息中心的称谓从“计算中心”、“网络中心”到“数据中心”,形象地表明了处理、
传输和存储这三个要素在信息设施中的比重随时间而变化的趋势。然而,相比于计
算和传输,存储始终是计算机系统的性能瓶颈所在,而海量存储资源管理则是影响
存储系统性能的一个重要因素。
围绕网络环境下海量存储资源管理这一主题,分三个方面进行研究。首先,针
对海量异构存储资源管理中存储节点数量庞大,设备协议种类繁多,网络构成复杂
多样等一系列问题,提出一种使用虚拟化策略进行高效存储管理的方法,并在块级
设计实现了带外虚拟化的方案和系统原型。然后,针对原型系统的性能优化问题,
提出一种基于任务排队合并的多用户请求调度优化算法。仿真实验表明,该算法可
使存储系统的 I/O 请求响应能力显著提高。最后,将海量存储资源管理的研究背景拓
展到广域网环境下,结合广域网中数据的新特性,提出一种集存储管理、元数据管
理和文件服务于一体的广域网存储资源管理架构,并建立随机 Petri 网(Stochastic Petri
Nets,SPN)模型对其进行了性能分析。
以过往研究工作为基础,经过理论分析与实际研发,取得成果如下。
针对海量异构存储系统中多样的存储资源和复杂的存储网络构成,提出一种使
用虚拟化策略进行高效存储管理的方法。对海量异构存储资源进行规范化描述,以
支持海量异构存储资源的发现、资源信息的维护和资源状态的监测,形成在这些存
储资源上进行虚拟化管理的基础。在块级设计实现带外虚拟化的方案,实现对应用
和管理透明的统一存储池模型;在文件级研制对应用透明的存储访问代理、提出一
种命名空间聚合和重定向技术,进而综合上述方法实现对海量异构存储资源的统一
管理与访问。针对实际应用环境中存储资源管理机制高度复杂化的挑战,提出一种
使用虚拟化策略进行高效管理的方法,使用开放式的虚拟化策略语言和相关软件联
动实现所管理存储资源的动态、按需分配。
I/O 请求调度算法的优劣是影响存储系统性能的一个重要因素。针对多用户 I/O
请求的特征,提出一种基于任务排队合并的多用户请求调度优化算法。通过对多个
网络用户的 I/O 请求任务进行排队,使排队后各 I/O 请求的数据在逻辑盘上按一定
*
本文受国家 973 计划项目(2004CB318201)、国家 863 计划项目(2009AA01A401 和 2009AA01A402)资助。
I
华中科技大学博士学位论文
的顺序分布,并对那些数据分布连续的用户请求进行任务合并,那么排队合并后进
行数据访问,可以使磁盘的磁头臂按照一定的规律移动,使寻道时间和旋转延迟显
著减小,从而降低请求的平均响应时间,提高存储系统的整体 I/O 性能。另一方面,
该算法将“任务排队合并”和“插队”机制相结合,兼顾了系统的高性能和单个请
求的响应时间,消除了“饥饿”现象。
以 IPv6 为代表的下一代互联网极大地扩展了网络用户,不仅对数据的需求多种
多样,而且在可用性、可扩展性、可维护性、安全性等方面提出了更高的要求,同
时要求信息在产生、发布、共享和传播的过程中能有效利用。针对下一代互联网的
这些特点,对存储系统的存储管理、元数据管理、存储空间的高效利用、数据的快
速传递等问题进行研究,构建了一种面向下一代互联网的广域网存储管理架构。广
域网存储管理架构采用了多层次、可扩展的分布式存储模式,将多种异构的存储子
系统作为基本的存储节点通过网络接口直接接入下一代互联网,建立存储节点与用
户间的直接数据传输,实现扩容与增速同步,保证服务器与存储节点、存储节点与
存储节点间高效的控制和数据管理。其存储管理遵循 SMI-S 的管理规范,可以在广
域网存储系统中提供标准化的通信方式。智能化的元数据管理方法,保证了存储系
统的服务质量和存储空间的高效利用。创新性的设计了广域网存储中间件,来处理
复杂网络环境下的数据传输问题,兼顾了广域网数据传输的高速和安全。
关键字:海量存储,广域网存储,存储管理,存储虚拟化,优化调度算法
II
华中科技大学博士学位论文
Abstract*
With the development of science and technology, computing central