文档介绍：分类号学号 M201071700
学校代码 10487 密级
硕士学位论文
流数据分析系统负载管理技术研究
学位申请人: 张奎
学科专业: 通信与信息系统
指导教师: 王非副教授
答辩日期: 2013 年 1 月 28 日
A Thesis Submitted in Partial Fulfillment of the Requirements
for the Degree of Master of Engineering
Research on Load Management Technology for
Data Stream Analysis System
Candidate :Zhang Kui
Major :Communication & Information System
Supervisor :Ass. Prof. Wang Fei
Huazhong University of Science & Technology
Wuhan 430074,
Jan., 2013
独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽
我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的
研究成果。对本文的研究做出贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到
本声明的法律结果由本人承担。
学位论文作者签名:
日期: 年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有权保留并向国
家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权华中科技大学
可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复
制手段保存和汇编本学位论文。
保密,在年解密后适用本授权书。
本论文属于不保密。
(请在以上方框内打“√”)
学位论文作者签名: 指导教师签名:
日期: 年月日日期: 年月日
华中科技大学硕士学位论文
摘要
近年来,我国信息化进程取得极大进展。信息化的基础是数据的采集、存储、分
析与利用。随着数据采集网络向更广更复杂的方向发展,同时数据采集的周期和采
集精度不断提高,数据量呈现海量趋势。对于数据来讲,不仅具有值的属性,时间
也是其重要的一个方面,数据的分析和利用与其时标特性密切相关,数据应用具有
较高的时效性要求。多种采集环境、多种应用场景集成,数据形式、维度多样。总
之,数据呈现海量、实时、多样的趋势。
面对数据的新特点,传统数据库面临着诸多挑战和问题。首先,传统数据库存储
所有的数据,在海量数据的应用场景下存储面临瓶颈;其次,传统数据库在数据查
询存在大量的 I/O 操作,无法满足数据处理时效性的需求;再次,传统数据库无法适
应数据分析的新需求。
流数据分析系统是实时流数据采集、存储、分析的实时数据管理系统,在应对数
据新特点带来的挑战方面有着诸多优势。实时流数据持续到达、速度快、规模大、
不可预测,给流数据分析系统的负载管理带来了极大的挑战。流数据分析系统主要
存在存储资源和计算资源两方面的性能瓶颈。目前的负载管理机制也是从这两个角
度出发进行的。
本文首先研究了负载管理的各种技术,核心是从计算资源的角度出发,以降低负
载技术为理论基础,设计了一种负载管理算法。首先对流数据分析系统中所有的连
续查询进行有向图建模,通过图中算子的选择率以及元组处理耗时计算查询网络的
处理容量,进而判断过载时机,为了充分利用数据抖动的特性,减少降载的可能,
提出了过载预测算法。基于连续查询的精确性描述,设计了降载的概率模型;为了
实现服务质量的均衡,设计了基于降载优先级为核心的降载位置确定方法。
通过仿真测试可以看出,在严重过载的情况下,算法降低了平均截止期措施率
(Average Deadline Miss Ratio,ADMR),降低了查询结果的可用性损失(Utility Loss);
同时仿真结果还显示,算法具有较好的自适应性、鲁棒性;在轻过载的情况下,本
文的基于截止期的过载点预测算法很好的避免了实时降载方案,利用后续的处理空
闲处理能力处理数据,保证查询的服务质量。
关键词:流数据分析系统,负载管理,降低负载,服