文档介绍：并行任务动态分配方法
专利名称：并行任务动态分配方法
技术领域：
本发明涉及高性能计算领域，尤其涉及一种大规模并行环境下的并行任务动态分配方法。
背景技术：
大规模并行环境下，并行应用程序面对的计算资源众多，容易出现通信热点，产生任务完成情况。可选的，该方法还包括
若所述普通进程出现故障，则将分配给该普通进程的任务回收，并排到其上一级的区域主进程管理的待分配任务队列的队尾，重新参与任务分配；若所述区域主进程出现故障，则将分配给该区域主进程的任务回收，并排到其上一级的
用户进程管理的待分配任务队列的队尾，重新参与任务分配；并从该区域主进程下一级的用户进程中选择新的区域主进程，继续为下一级用户进程分配任务；当所述全局主进程出现故障，从其下一级的区域主进程中选择新的全局主进程，读取所述断点文件，继续分配所述断点文件未记录的未完成任务。可选的，在所述主进程将本级待分配的并行任务排序，形成本级待分配任务队列之前，还包括进行初始化；所述初始化包括记录断点文件名、记录总任务数、记录任务块大小。可选的，所述普通进程一次请求的任务数量为一个任务块大小；所述区域主进程一次请求的任务数量为一个任务块大小与其下级所有用户进程数的乘积；可选的，在所述主进程将本级待分配的并行任务排序，形成本级待分配任务队列之前，还包括为每个任务分配唯一的任务号； 所述分配任务包括给出所分配任务的任务号。可选的，还包括在全局主进程的待分配任务队列之后增加一结束标记；当接收到的任务号为所述结束标记时，并行任务分配完毕。与现有技术相比，本发明的技术方案具有以下优点I、本发明通过基于排队论模型的多层动态任务分配模式，将动态任务分配服务分布至多个计算资源，降低了动态任务分配的代价，有效提高了任务分配服务的效率，从而避免了服务热点的产生，达到众多计算资源间的负载平衡。2、可选方案中，通过对用户进程进行分组以形成树形排布，更简化上级用户进程对下级用户进程以及对任务的管理。3、可选方案中，通过在服务端记录当前任务分配的情况，在部分计算资源出现故障的情况下，将分配给故障资源的任务回收，重新分配至健康计算资源，以保证并行应用程序能够继续正确执行，提供了容错效率，同时将故障资源带来的影响局限于一定的范围。此夕卜，断点文件的及时更新也能有效降低故障资源带来的损失。
图I为本发明的并行任务动态分配方法的第一具体实施方式
的流程图；图2为本发明的并行任务动态分配方法的第二具体实施方式
的流程图；图3为本发明的并行任务动态分配方法的第三具体实施方式
的流程图；图4为本发明的并行任务动态分配方法的第四具体实施方式
的流程图；图5为本发明的并行任务动态分配方法中步骤将所有用户进程分为多级用户进程的一具体实施方式
的流程图；图6为对应图具体实施方式
的第一实施例的各阶段示意图；图7为对应图具体实施方式
的第二实施例的各阶段示意图8为本发明的并行任务动态分配方法的第五具体实施方式
的流程图；图9为本发明的并行任务动态分配方法的第一实施例的各阶段示意图；图10为本发明的并行任务动态分配方法的第二实施例的各阶段示意图；图11为本发明的并行任务动态分配方法的第三实施例的各阶段示意图；图12为本发明的并行任务动态分配方法的第四实施例的各阶段示意图；图13为本发明的并行任务动态分配方法的第五实施例的各阶段示意