文档介绍：第一章并行计算机体系结构
在介绍并行算法及其软件设计之前,必须先介绍一下并行计算机与分布式并行的一些基本知识。目前国内这方面的资料不是很完善,为此,本章将阐述一下并行计算机体系结构的一些基本知识。
简单地讲,并行计算机就是由多个处理单元(以下也称为处理器,或简称为CPU)组成的计算机系统,这些处理单元相互通信和协作能快速、高效的求解大型复杂问题。
定义中涉及的问题:
并行计算机的规模:, 例如处理单元有多少,这就涉及到系统是小规模的(十个或几十个)、中规模的(上百个)和大规模的(成千上万个)的问题;
处理单元的功能:处理单元的功能有多强,这就涉及到系统的组织策略是平行对称的“蚁军法”(Army of Ants)或是一种主从的形式“象群法”(Hert of Elephants) 的问题;
处理单元之间怎样连接,这就涉及到系统是按照什么样的拓朴结构彼此互连起来的问题;
处理单元的数据是如何传递的,这就涉及到通信是按照共享变量方式的或消息传递方式的问题。
各处理单元彼此相互协作共同求解大型复杂问题,则涉及到的问题更多,例如如何保证多处理单元操作的顺序性,这就涉及到同步互斥问题;如何确保共享数据的完整性问题,这就涉及到不同存储层次中的数据的一致性问题。
此外,还有求解具体问题的并行程序的编写、调试、运行和性能分析等方面的问题。
并行计算机是相对串行计算机而言的,所谓串行计算机就是只有单个处理单元顺序执行计算程序的计算机,所以也称为顺序计算机。顺序计算机最早是从位串行操作到字并行操作、从定点运算到浮点运算改进过来的;:从顺序标量处理(Scalar Processing)计算机开始,首先用先行(Look-ahead)技术预取指令,达到重叠操作实现功能并行;支持功能并行可使用多功能部件和流水线两种方法;而流水线技术对处理向量数据元素的重复相同的操作表现出强大的威力,从而产生了向量流水线(Vector-pipelining)计算机(包括存储器到存储器和寄存器到寄存器两种结构);不同于时间上并行的流水线计算机,另一分支的并行机是空间上并行的SIMD(单指令流多数据流
)并行机,它用同一控制器同步地控制所有处理器阵列执行相同操作来开发空间上的并行性;如果用不同的控制器异步地控制相应的处理单元执行各自的操作,则就派生出另一类非常主要的MIMD(多指令流多数据流)并行机;其中,如果各处理单元通过公用存储器中的共享变量实现相互通信,则就称为多处理机(Multiprossors);如果处理单元之间使用消息传递的方式来实现相互通信,则就称为多计算机(puters),它也是当今最流行的并行计算机,也是本书讨论的重点。
自20世纪70年代初到现在,,出现了各种不同类型的并行机,包括历史上曾经风行一时的并行向量机PVP(Parallel Vector Processor)和SIMD 计算机,但它们现在均已衰落了下来,而MIMD类型的并行机却占了主导地位。当代的主流并行机是可扩放的并行计算机(Scalable-puter),包括共享存储的对称多处理机SMP(Symmetric Multiprocessor),分布存储的大规模并行机MPP(Massively Parallel Processor),分布式共享存储DSM(Distributed Shared Memory)多处理机和工作站机群COW(Cluster of Workstations)以及刚刚兴起的跨地域性的、用高速网络将异构性计算节点连接起来满足用户分布式计算要求的所谓网格计算环境GCE(putational Environment)。本课程将重点讨论前4种当代可扩放的主流并行计算机。
顺便讲一下并行计算机与高性能计算机的关系。其实,高性能计算机并无明确严格的定义。因为性能可定义为求解问题所花费的时间的倒数,即求解问题的速度,所以按此意义,只要那些速度非常快的计算机都可认为是高性能计算机。当然,能高速求解问题的计算机,可以包括大型计算机(Mainframe),如早期的IBM370系列;超级计算机
(puter),如Cray-1向量计算机以及各种并行计算机。因为为了达到高性能,仅靠改进电路工艺,提高单机器件速度是有限的,所以使用并行计算机的方法则更为普通和有效,于是并行计算机也就渐渐地变成了高性能计算机的同义词了,这种说法虽不严格,但已被普遍认可。
90年代,并行计算机已成为计算机技术中的关键部分,预计下20年它对