文档介绍：华中科技大学
硕士学位论文
基于web服务的分布式存储系统的研究与实现
姓名:兰晨
申请学位级别:硕士
专业:计算机软件与理论
指导教师:胡侃
2011
华中科技大学硕士学位论文
摘要
大规模的商业网络存储系统为用户提供了不受地域限制的存储服务,为人们的日
常生活和工作带来了极大的便利。免费存储服务 FSS(Free Storage Service),如电子邮
箱(Email)、网络硬盘和 FTP 等,为个人用户提供了大小受限的网络存储。但由于用
户对网络存储的需求不同,FSS 的这种固定大小的分配方式不仅无法满足动态变化的
用户需求,而且不能有效地利用网络存储空间。
以 FSS 提供的网络存储为支撑,采用资源共享的方式,设计并实现了能够自适应
地满足用户动态存储需求的网络存储系统 ppStore。系统统一整合不同 FSS 接口,实
现了各 FSS 之间的数据传输,集成各个局部 FSS 的服务能力,提供功能更加强大的存
储服务。系统中加入了自适应的 FSS 管理机制,负责 FSS 性能参数的自动收集、元数
据的智能分析、FSS 任务调度和分配等核心功能,使 FSS 不但具有存储使用权,而且
能够完全地控制全局存储分配。系统采用 Erasure Codes 技术对并行传输文件进行快速
分片,并引入 P2P 覆盖网技术和缓存技术,建立了三层数据访问机制来保证数据的高
性能传输。基于元数据的统计分析结果,提出了一种新的决定备份启动的懒惰备份算
法,有效地解决了拒绝服务(DOS)问题。
系统测试与仿真实验结果表明,ppStore 实现了客户端、缓存服务器、FSS 三者相
互之间的高性能数据传输机制,通过对 FSS 合理任务分配和调控,将 DOS 出现的概
率降低到 2%,FSS 传输速率稳定在 500KB/S。同时通过对指令流的聚集和分类预处
理,使缓存命中率较传统的过滤缓存系统提高了 2 倍,降低了主服务器的响应延时,
单节点可同时处理 13,000 用户查询请求。

关键字: 存储系统,网络服务,拒绝服务,懒惰备份,指令流
I
华中科技大学硕士学位论文
Abstract
The large-work storage system supplies the service of storage for
users over the world. Anyone can store local data in the anywhere, which makes
people’s daily life easy. work storage developers not only need to solve the
problems of heterogeneity, consistency, openness and security in the distributed system but
also need to face the difficulty of expensive machine and economic cost work
bandwidth. Especially the high economic cost makes the development work storage
system very hard. With the development of free storage service (FSS) just like email,
network hard disk and FTP, the limited and low-quality services temporarily satisfy the
requirement work storage system, but with the development of information
technology, FSS will be not satisfactory enough.
work storage system ppStore solves the problems above efficiently. We realize
that though the service quality of single FSS is limited, the quantity of FSS is huge and it is
easy to get this FSS. The ppStore integrates the interface of different FSS to achiev