文档介绍：并行计算-详解
 
   
 
 
 
 
 
 
 
     
 
 
 
 
 
并行计算（Parallel Computing）
目录
1 什么是并行计算
2 并行计算的解读
3 并行   
 
   
并行计算-详解
 
   
 
 
 
 
 
 
 
     
 
 
 
 
 
并行计算（Parallel Computing）
目录
1 什么是并行计算
2 并行计算的解读
3 并行计算特征
4 并行计算基本体系结构
访存模型
计算模型
5 并行计算基本术语
6 并行计算性能度量
基本指标
加速比评测
可扩放性标准
什么是并行计算
　　并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。
并行计算的解读
　　并行计算同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。
　　并行计算可分为时间上的并行和空间上的并行。
　　时间上的并行：是指流水线技术，比如说工厂生产食品的时候步骤分为：
　　1．清洗：将食品冲洗干净。
　　2．消毒：将食品进行消毒处理。
　　3．切割：将食品切成小块。
　　4．包装：将食品装入包装袋。
　　如果不采用流水线，一个食品完成上述四个步骤后，下一个食品才进行处理，耗时且影响效率。但是采用流水线技术，就可以同时处理四个食品。这就是并行算法中的时间并行，在同一时间启动两个或两个以上的操作，大大提高计算性能。
　　空间上的并行：是指多个处理机并发的执行计算，即通过网络将两个以上的处理机连接起来，达到同时计算同一个任务的不同部分，或者单个处理机无法解决的大型问题。
并行计算特征
　　为利用并行计算，通常计算问题表现为以下特征：
　　（1）将工作分离成离散部分，有助于同时解决；
　　（2）随时并及时地执行多个程序指令；
　　（3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。
并行计算基本体系结构
　　并行计算科学中主要研究的是空间上的并行问题。从程序和算法设计人员的角度来看，并行计算又可分为数据并行和任务并行。一般来说，因为数据并行主要是将一个大任务化解成相同的各个子任务，比任务并行要容易处理。
　　空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。MIMD类的机器又可分为以下常见的五类：并行向量处理机（PVP）、对称多处理机（SMP）、大规模并行处理