文档介绍：清华大学
综合论文训练
题目:网格数据流应用中任务管理和资源分配的算法设计和优化
系别:自动化系
专业:自动化专业
姓名:沈虎
指导教师:曹军威研究员
2008年6月6日
签名: 导师签名: 日期:
中文摘要
上个世纪90年代早期网格计算的理念被提出,这这项技术旨在整合网络中的计算资源,使其能够达到电力网络中的电力“即插即用”的效果,它被认为是“下一代网络框架的基石”。数据流应用是网格计算框架中的一个重要的组成部分,特别是在处理海量数据的传输及实时处理时,需要综合考虑网络带宽资源、计算网络的存储资源及计算资源等的各种限制性条件,此时采用流式数据传输及实时处理是一种适宜的选择,但如今数据流应用目前来说尚不成熟,因而对其进行研究和探索是非常有意义的工作。
本文的工作主要包括下面二个方面:一是结合美国Laser Interferometer Gravitational-wave Observatory (LIGO)这个实际工程项目背景构建一套基于网格计算网络的数据流应用框架和机制包括寻求令人满意的任务管理和资源分配的解决方案;二是进行模拟仿真和以Globus、Condor等现有的网格计算平台工具搭建现实网络,进行实际测试。
通过测试可以发现,引入按需传输数据和及时数据清理等机制可以满足应用的要求,使得计算网络在有限的存储及带宽的条件下尽量充分地利用其计算资源,在整个过程中海量数据不断地以数据流的方式进行传输。实验结果还表明我们的网络环境具有良好的健壮性和自适应性。
当然本文所做的工作还有许多不足,考虑多个数据处理应用间的数据分享问题,尝试利用除遗传算法之外的其他启发式算法进行优化,扩宽我们实验的计算网络等都是本文后续可以研究的方向。
关键词:网格计算数据流应用任务管理资源分配
ABSTRACT
The term puting originated in the early 1990s as a metaphor for puter power as easy to access as an electric power grid and this technology is considered as “the Blueprint for a puting infrastructure”. Data streaming application is one important part of puting framework, particularly when involving in dealing with transferring and just-in-time processing massive amount of data, if taking account of various limitations work bandwidth resource, storage resource work and puting resource and so on, it is a considerable choice to introduce mechanisms of Data streaming transfer and just-in-time process. But this technology is not well developed yet, so it’s a meaningful job to explore and reach in this area.
This paper introduces three phrases of our work: Part one designs a series of Data streaming application framework and mechanisms based on work, jointly with American Laser Interferometer Gravitational-wave Observatory (LIGO) project including the work of seeking a satisfying admission control and resource scheduler solution; Part two simulates it puter tools and builds a work with existing puting framework tools such as Globus and Condor, then tests the solution.
Experimental results show that the data st