文档介绍：分布式独立内存简易集群搭建测试与应用
李仕诚韩菲苏辉
摘要:新时期地球物理勘探事业的发展,对高性能计算给出了越来越高的要求。我们也在不断的寻找提高计算效率的方法;本文提出一种基于linux系统下的小型高性能计算集群的构建方案,能够进行软件共享,数据共享,有效解决大规模计算问题,提高计算速度并且降低计算成本。采用Linpack对集群浮点运算性能进行分析测试,分别与单机下浮点运算性能和刀片式服务器集群的浮点运算性能进行对比分析,得出结论。最后,将搭建好的集群在地震资料处理中得到了有效的应用。
关键字:高性能计算计算效率软件共享数据共享环境应用
引言
随着计算机的广泛应用和性能的大幅度提高,计算机处理问题的规模也越来越大。尤其在地震勘探领域中,快速处理大规模地震数据的要求与日俱增。地震勘探方法是目前使用最为广泛、解决油气勘探问题最为有效的地球物理方法。该原理是利用人工方法引起地壳震动,再用精密仪器按一定的观测方式记录爆炸后地面上各接收点的振动信息,通过分析和处理这些大量数据推断地下的地质构造。该方法收集到的数据都数以TB,海洋探测的数据量更是数以PB级别。高性能计算机若在短时间内完成对这种数据量的分析,需要具有惊人的计算能力。因此,计算机的高性能计算能力在地震勘探领域中举足轻重,提高计算机的并行处理能力和浮点运算能力势在必行。目前,单个处理器的计算性能可提升的空间越来越小,将一组高性能计算机连接起来组成具有并行结构的高性能集群,实现高效并行计算,是满足科学和工程计算问题中高性能数据处理要求的有效途径。
计算机集群的概念:多台同构或异构的计算机用某种方式连接起来,协同完成特定的任务就构成了集群系统,目前计算机集群技术按照使用目的可分为三类:高可用集群(High Availabilty Cluster)、负载均衡集群(Load Balance Cluster)、科学计算集群(High puting Cluster)。高可用集群,利用集群管理软件,当主服务器出现故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务;负载均衡集群,负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求。科学计算集群,即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理,通常用于科学计算领域。集群所用计算机可以是工作站,普通PC机、刀片式服务器或机架式服务器。针对地震资料处理的高吞吐量、高密度数据通信等特点,本文为解决大型地震数据处理问题,选用7台linuxPC机,构建小型高性能计算集群。
一、基于linux简易集群搭建
集群是由一组独立的计算机系统构成的一个松耦合的多处理器系统。他以网络技术将一组工作站或PC机连接起来,计算机之间高度紧密地协同工作。像一个单独集成的计算资源运行一组共用的应用程序,为用户和应用程序提供类似单机系统的功能。
1、系统的构建
(1)节点
节点分为管理节点与计算节点。集群中的每台计算机都是集群节点(node)。管理节点是高性能集群的入口,作为集群中心的“核心”领导者,控制其他计算机,管理和监控各个节点的系统状态和网络状态,为其他计算机分配计算任务,调度负载,安装计算节点所需软件,一般称为集群的主节点。
计算节点是整个集群系统的重要组成部