文档介绍：密级:——桂林理工大学容错机制和负载管理策略的研究分布式流处理系统中的硕士研究生学位论文专业:研究方向:研究生:指导教师:计算机应用技术数据库系统及其应用技术肖富元程小辉教授编号:论文起止期:月至月ɡ
￡;。,.罐爹一
:.篋篨’:
G鎪遇诀鸶
和仆弘槲醐蛰篮抽瓿荔知研究生学位论文独创性声明和版权使用授权书嗵●丕月学位论文版权使用授权书赆茉论饺岔签字日期:冢琭.‘.独创性声明本人声明:所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含他人已经发表或撰写过的研究成果,也不包含为获得其它教育机构的学位或证书而使用过的材料。对论文的完成提供过帮助的有关人员已在论文中作了明确的说明并表示谢意。学位论文作者┳:本学位论文作者完全了解有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的印刷本和电子版本,允许论文被查阅和借阅。本人授权可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息研究所将本学位论文收录到泄宦畚娜氖菘狻罚⑼ü缦蛏缁峁提供信息服务。C艿难宦畚脑诮饷芎笫视帽臼谌ㄊ学位论文作者签名:字吼师字导签签字日期:●
!鰎籺
摘要用自适应修复机制,实现了操作算子之间的通信稳定和提高了系统的容错性能。其近年来,信息处理技术的应用领域得到了很大的拓展,如金融应用、电子商务、网络监控和实时分析等。在这些应用中,静态的关系数据已经不能满足人们的需要。在处理现实世界的实时事件中,如何实现连续、快速、稳定和低延时的数据流处理成为目前的研究热点之一。而作为分布式系统关键技术的容错机制和负载管理技术,对分布式数据流处理系统的性能起着十分重要的作用。因此,本文重点研究了分布式流处理系统中的关键技术:荽砘啤埃负载管理技术。为了改进现有的分布式数据流处理系统中的容错机制,本文设计了一种基于自适应修复和节点复制的方法,简称词迪挚焖佟⑽榷ǖ氖萘鞔怼;赟薷椿频氖萘鞔硐低’通过使用节点复制机制,利用对等节点并行向下游节点发送数据,使下游节点能够使用最先到达该节点的输入数据,来提高数据流的传输速度。。同时,通过使次为了平衡网络开销和低延时保障,提出用中心节点算法选择后备节点。为了改进现有的分布式数据流处理系统中的负载平衡技术,本文首先设计了一种基于装箱模型的经济型操作算子分布策略,简称,在考虑服务器的砟芰Φ耐币氪碓际跫⒔亲化为数学模型中的优化问题来求解。其次设计了超操作算子,简称饩鱿低吃诔跏蓟笔迪侄嗉恫僮魉阕拥母涸仄胶猓岣吡朔植际绞萘处理系统整体的稳定性。再次提出了基于染色装箱模型的染色超操作算子,简称方法,把“同级”操作算子分配在不同的服务器上,增强系统的容错处理能力。同时充分利用基于超操作算子和染色装箱模型的降载技术,避免输入数据流突变或波动对系统造成的影响,保证了高质量的查询结果。最后综合上述方案设计了一种经济型容错负载平衡策略,简称诓灰贫衿魃系牟僮算子或任务的基础上,保证了连续、快速、稳定、低延时和高可用的数据流应用。通过在网络仿真器一教ㄉ系哪D猓橹ち吮疚奶岢龅腟荽砘坪负载平衡方法具有更好的连续、快速、稳定和高可用性。关键字:分布式数据流处理系统,容错机制,负载平衡策略,自适应修复,经济型负载平衡算法猙甌
,猳,:猼.,—琫—,’瓹—,畉,琣畉,産,,猵甌,甆瑆甋甌,—,,,......狿畂痶
.瓼,鯥,、