文档介绍：并行计算基础
本讲主要内容
并行计算机体系结构
并行计算模型
进程
线程
并行编程环境
编程语言与编译器
并行计算性能评测
常用并行数值算法
并行编译器
并行计算机体系结构
组成并行计算机的各个部分为：
节点（node）：
每个节点由多个处理器构成，可以直接输入输出
互联网络（interconnect network）：
所有节点通过互联网络相互连接通信。
内存 （memory）：
内存由多个存储模块组成，这些模块或者与节点对称地分布在互联网络的两侧，或者位于各个节点的内部
并行计算机体系结构示意图，内存模块与节点分离
并行计算机体系结构示意图，内存模块位于节点内部
多级存储体系结构
微处理器的峰值运算速度每18个月翻一番
内存模块的容量每年几乎翻一番
内存模块的访问速度却没有得到平衡发展
内存的访问速度要比处理器执行速度慢很多
内存墙性能瓶颈 =〉多级存储结构
多级存储体系结构
并行计算机访存模型
UMA（Uniform Memory Access）模型
内存模块与节点分离，分别位于互联网络两侧
物理存储器被所有节点共享
所有节点访问任意存储单元的时间相同
发生访存竞争时，仲裁策略平等对待每个节点
各节点的CPU可带有局部私有高速缓存
外围I/O设备也可以共享，且每个节点有平等的访问权利
并行计算机访存模型
NUMA（Non-Uniform Memory Access）模型
内存模块分布在各个节点内部
物理存储器被所有节点共享，任意节点可以直接访问任意内存模块
节点访问内存模块的速度不同
发生访存竞争时，仲裁策略对节点可能是不等价的
各节点的CPU可带有局部私有高速缓存
外围I/O设备也可以共享，但对各节点是不等价的