文档介绍：中山大学硕士学位论文
面向时序数据流的分布式缓存系统
设计与实现
Design and Implementation of the Distributed Cache System
Oriented to Time-Series Data Streams
学位申请人： 花 珊
导师姓名： 陈炬桦 副教授
专业名称： 软件工程
院、系（所）： 软件学院
答辩委员会主席：
委员：
二零一四年五月
论文原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师的指导下、
独立进行研究工作所取得的成果。除文中已经注明引用的内容外，
本论文不包含任何其他个人或集体已经发表过的作品成果。对本文
的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本人完全意识到本声明的法律结果由本人承担。
学位论文作者签名：
日 期：
面向时序数据流的分布式缓存系统设计与实现 摘要
论文题目： 面向时序数据流的分布式缓存系统设计与实现
专 业： 软件工程
硕 士 生： 花珊
指导教师： 陈炬桦 副教授
摘要
信息化时代，各种数据源持续不断地产生大量的数据。在过去，由于需求
和软硬件方面的原因，持续的数据流处理系统对数据持久化提供了有限的支持。
然而随着业务和场景的不断变化，大规模实时流式数据有了持久化需求，这些
流式数据大多具有时序性，并且数据的读写成本很高，因此要求在初次持久化
时就能有序地保存这些时序数据。
本文通过分析时序数据流的特征和存储需求，设计了面向动态时序数据的
持久化算法和排队系统模型，并由此实现了一个面向时序数据流的分布式缓存
系统，该系统为时序数据流提供了可扩展的有序持久化存储解决方案，既保证
了数据存储请求的快速响应，又保证了时序数据能有序地持久化存储。本文完
成的主要工作如下：
首先，分析了时序数据流的特征以及存储需求，提出了两种针对时序数据
流的有序持久化算法，依据排队论描述系统并建立模型，对系统的设计优化问
题进行了求解。利用该算法和模型可以保证动态时序流式数据有序持久化写入
磁盘，减少系统后续对历史数据的排序成本。
其次，结合时序数据流持久化算法和模型，并借鉴当前主流的分布式系统
架构思想，设计了一个面向时序数据流的分布式缓存系统。该系统可以支持大
量动态时序流式数据的排序与缓存，并具有高效的持久化存储性能，能保证动
态时序数据的有序性持久化，系统利用内存数据库和批量持久化大大提高了时
序数据的并发存储请求与实时响应性能。
最后描述了分布式缓存系统的设计和实现过程，并利用真实的用户行为日
志数据，对系统进行了测试，验证了该分布式缓存系统以及持久化模型的有效
性和可行性。
关键词：时序数据流、分布式缓存、持久化、排队论、Redis
I