文档介绍：浙江大学计算机科学与技术学院
硕士学位论文
面向SaaS应用的多租户海量存储系统设计与实现
姓名:孙鹏
申请学位级别:硕士
专业:计算机应用技术
指导教师:尹建伟
20100101
摘要软件即服务、云计算、互联网应用、科学计算等现代大型应用平台,对文件存储系统提出了更大容量、更高性能、更高可靠性及多租户隔离等要求,高效可针对应用多租户、数据隔离和服务质量保证的问题,论文提出一种面向多租户的海量存储系统架构,通过元数据服务器和存储服务器两种节点组成集群,分离客户端对文件系统命空间和数据流读写的操作名。元数据服务器通过虚拟存储控制器对多租户的请求进行安全验证,同时设置了高速缓存,提升元数据更加连续,提升了大文件访问的效率。为了保证应用数据的高可用性,论文提出一种基于负载均衡的动态副本管理策略,将文件副本所在服务器节点进行分簇,在簇内设置处理能力强和稳定在线的超节点来维护副本的增加和删除,监控服务器节点的负载信息。这种局域集中、广域对等的组织方式,加快了文件副本的定位速度,能够有效的管理大现了分布式系统的负载均衡。采用负载迁移算法,使各节点的负载和存储空间达为对的多租户进行性能隔离和服务等级区分,论文提出基于服务等级归类的多级服务队列调度方法,采用了队列的方法管理不同租户的请求。通过将大的请求进行分割,充分利用了存储和网络资源的并行性,并对Vぬ峁便利。对多租户的请求按照服务等级归类后,使系统可以优先处理服务等级高的租户的请求,在服务器资源充足的情况下,能够满足各个级别的租户的孟低呈迪至寺畚乃龅幕竟δ埽⒃诨赟耐缬才獭⒄憬电信商务领航等应用中得到初步验证,能较好地支撑大型应用平台的需求。关键字:软件即服务,海量存储系统,负载均衡,副本策略,服务质量信的海量文件存储将成为构建上述大型应用的关键技术。的并发访问性能,缓存的延迟加载策略减少了服务器故障恢复时间。存储服务器采用对象的方式维护数据块,使用区段的形式分配空间,使数据块在磁盘上分布规模的文件副本。通过对文件的历史访问记录进行分析,预测下一周期文件访问频率,为流行文件设置合理的副本数,根据负载情况有效分散客户端的请求,实到均衡,以形成合理的数据分布。求。结合国家重大科研项目,研制了面向应用的多租户海量存储系统原型浙江人学硕学位论义
⋯曲甴畉,—..’瑆猻,..’...浙江人学倾貉宦畚。瓻...甀畐瓸..甧疭...’
.浙江人学形貉宦畚:,,甊
图目录图文件系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..分布式文件系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.分布式存储系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图监鲸分布式文件系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..多实例多租户模式⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.单实例多租户模式⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯屑涫布际跗粲枚嘧饣У奈逯种饕7椒ā图论文组织架构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯应川中的多级存储架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图面向应用的海量文件存储系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图面向多租户的存储架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图对象文件系统磁柱布局示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图分簇管理网络拓扑图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于服务等级归类的多级恿泄芾怼图钱塘文件服务器系统架构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图钱塘文件服务器备份恢复管理壕摺图基于钱塘文制:服务器的网络便盘系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯在线存储服务企业信息界面⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯在线存储服务空间中请历史记录界面⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于钱塘文件服务器的槟獯排獭图元数据服务器类倒⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯幽存储服务器类图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图文唬瑋:副本管理器类图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图娲⒎衿鞯耐缌髁考嗫赝肌图±芳锹嘉募梦矢怕试げ夂褪导史植级员韧肌图募梦势德屎蜕筛北臼墓叵低肌图骄煊κ奔涞谋冉稀图蚇在千兆网上的写数据性能比较⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..蚇在千兆网上的读数据性能比较⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一图甯龈北驹诟涸馗宰油臣啤图涸刂胤峙淝昂蟠娲⒎衿鞯奈募榉植记榭觥图骄煊κ奔涠员韧肌图渌俾识员韧肌浙江人学硕貉宦垡图日录
表目录表元数据服务器模块表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表存储服务器模块表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表系统测试环境元数据服务器配置表⋯⋯⋯⋯⋯