文档介绍：分类号密级
U D C 编号1 0 4 8 6
武汉大学
硕士学位论文
分布式Key-Value数据库及其
一致性研究
研究生姓名 :
学号 :
指导教师姓名、职称 : 教授
专业名称 :计算机科学与技术
研究方向 :计算机软件与理论
二〇一二年五月
Dissertation Submitted to
Wuhan University
Study of Distributed Key-Value Database and Consistency Issue
By Shiquan Ye
Under the Guidance of
Professor Jicheng Hu
May, 2012
郑重声明
本人的学位论文是在导师指导下独立撰写并完成的,学位论文没有剽窃、抄袭、造假等违反学术道德、学术规范和侵权行为,否则,本人愿意承担由此而产生的法律责任和法律后果,特此郑重声明。
学位论文作者(签名):
年月日
摘要
互联网已进入全面参与的 Web 时代,伴随而来的是用户量和数据量的爆炸式增长。传统关系型数据库在应付 Web 网站,特别是超大规模和高并发的社交型网站已经显得力不从心,暴露出很多难以克服的问题。NoSQL 数据库放弃了关系型数据库中的关系模型,通过去除数据之间的耦合使数据库更为适应现代高性能服务架构,从而达到存储系统的高性能。另外,传统的集中式存储无法满足海量数据的需要,为保证高可用性、高可靠性和经济性,越来越多互联网企业采用分布式存储的方式来存储数据,采用冗余存储的方式保证数据的可靠性。
本文在研究 Key-Value 存储储系统的基础上,着重研究分布式系统下的数据一致性机制,一致性机制是保证分布式存储系统能够正常提供服务的基础,在某些特定的业务场景中有着苛刻的要求。著名的分布式 Paxos 算法解决的是分布式系统一致性问题,本文在该算法的基础上,提出并实现了多轮 Paxos 算法,以及领导选举算法,从而保证分布式存储系统的一致性。
本系统在单机存储上使用 Berkeley DB 作为底层存储引擎,在此基础上,通过实现节点管理、节点通信、冗余备份和一致性算法,解决了分布式系统中数据一致性性等难点问题,最终实现了一套分布式 Key-Value 存储系统。
相比于普通的 Key-Value 数据库,本文提出的数据库具有分布式特点,各个节点共同组成一个分布式分布式网络存储服务,能够保证数据的强一致性,具有极高的错误容忍能力,而且系统自带节点管理功能,方便扩展性能,进行高密度地部署。
关键词:NoSQL;Key-Value存储;分布式系统;一致性;Paxos算法
ABSTRACT
The e into the era which brings the explosive growth of user and data. It has been hard for traditional relational-database to deal with website especially large scale SNS website. NoSQL database is fortable for the modern architecture of high-performance service, because it removes the data-structured coupling, which improves the efficiency of data store. On the other hand, traditional centralized data store can't satisfy the requirements of big data. In order to gain high availability, high reliability and economical benefit,more and more enterprises take distributed database as their data store, which ensures its reliability by replication.
This article studies distributed database and the consistency of distributed system. The key problem of distributed system is maintaining the consistency of data, which is very s