文档介绍：第一章概论
《并行算法与并行程序设计》
三、并行与并发
并行(Parallel)
并发(Concurrence)
四、相关领域与概念
高性能计算(High puting)
分布式计算(puting)
物联网(The of Things)
网格计算(puting)
云计算(puting)
智慧的地球(Smarter )
……
二、并行计算的需求和现状
计算机系统性能的提高仅仅依靠硬件性能的提高是不够的。
很多重大技术问题和应用都需要高性能的并行计算才能解决。
并行计算的复杂程度远高于串行计算的复杂程度。
并行计算相比串行计算的研究还远不够成熟和完善。
一、并行计算应用实例
******@home计划,1999年5月~2004年6月,共计500万人参加计算,197万年计算机工作时间,*1021次浮点运算,处理超过13亿个数据单元。
一、并行计算应用实例
Many hands make light work.
一、并行计算应用实例
10000m2的机房,HP刀片式服务器,总计4万多个处理器,104TB RAM。
五、并行计算机模型
并行模型的语义属性
同构性
在执行并行程序时,并行计算机中处理器行为的相似程度。
如SISD、SIMD、SPMD、MIMD。
同步性
进程同步的严格程度。
指令同步、超步同步、松散同步、异步。
交互机制
并行进程间如何相互影响行为的特性。
共享变量、消息传递。
地址空间
单地址空间、多地址空间。
存储器模型
如何处理共享存储器的访问冲突。
CRCW、CREW、ERCW、EREW
五、并行计算机模型
并行模型的性能属性
机器规模 n
可用处理器的个数。
时钟速率 f MHz
单一处理器的时钟速率。
工作负载 W Mfloat
程序的计算量,或计算操作数。
串行执行时间 T1 s
参考的串行程序执行所需要的时间。
并行执行时间 Tn s
在机器规模为n的情况下,并行程序执行所需要的时间。
速度 Pn=W/Tn Mfloat/s
在机器规模为n的情况下,并行计算的平均速度。
五、并行计算机模型
并行模型的性能属性
加速比 Sn=T1/Tn
在处理器规模为n的情况下,并行计算相对于串行计算的加速倍数。上限为n。
效率 En=Sn/n
在处理器规模为n的情况下,并行计算相对于串行计算的有效率。上限为1。
利用率 Un=Pn/Ppeak
在处理器规模为n的情况下,各处理器计算能力的平均利用比率。Ppeak是处理器的峰值处理速度。上限为1。
通信启动时间 t0 μs
0字节或短消息(如单字)的通信时间,也称为通信时延。
渐近带宽 r∞ MB/s
通信长消息的速率。