文档介绍：并行数据库系统
中国人民大学数据与知识工程研究所陈红王珊
近年来,计算机体系结构的一个明显发展趋势是从单处理器结构向多处理器结构过渡。这一是因为提高单处理器的性能越来越困难,而且单处理器的性能终究是有其物理极限的;二是高性能处理器高昂的价格使人们望而却步,转而去用多个性能较低的廉价处理器代替高性能的处理器来提供大型主机级甚至更高的性能与能力。
另一方面,计算机应用的发展已超过了单处理器处理能力的增长速度,由于受决策支持应用和联机事务处理(OLTP)应用的驱动,目前数据库中的数据量正在以惊人的速度增长,新一代数据库应用对数据库性能和可用性提出了更高的要求。能否为越来越多的用户维持高事务吞量和低响应时间已成为衡量DBMS性能的重要指标,因此将传统的数据库管理技术与并行处理技术结合的并行数据库技术已越来越为人们所属目。并行数据库系统以高性能(线性加速比)、高可用性与高扩充性(线性伸缩比)为目标,充分利用多处理器平台的能力,通过多种并行性,在联机事务处理与决策支持应用两种典型环境中提供优化的响应时间与事务吞吐量。因此人们普遍认为,并行数据库系统必将成为未来的高性能数据库系统。
一、并行数据库系统的体系结构
目前并行计算机的体系结构主要有以下几大类:第一类是紧耦合全对称多处理器(SMP)系统,所有CPU共享内存与磁盘;第二类是松耦合群集机系统,所有CPU共享磁盘;第三类是大规模并行处理(MPP)系统,所有CPU均有自己的内存与磁盘。此外还有混合结构,比较常见的是SMP群集机系统(SMP Cluster),即MPP系统的每个结点不是一个单一的处理器,而是一个SMP系统。相应地,并行数据库系统的体系结构有以下三种:
1. 共享内存(Shared-Memory)结构。在该结构中,共同执行一条SQL语句的多个数据库构件通过共享内存交换消息与数据。数据库中的数据划分在多个局部磁盘上,并可以为所有处理器访问。共享内存结构是单SMP硬件平台上最优的并行数据库结构。
2. 共享磁盘(Shared-Disk)结构。在该结构中,所有处理器可以直接访问所有磁盘中的数据,但它们无共享内存。因此该结构需要一个分布式缓存管理器来对各处理器(结点)并发访问缓存进行全局控制与管理。多个DBMS实例可以在多个结点上运行,并通过分布式缓存管理器共享数据。共享磁盘结构是共享磁盘的松耦合群集机硬件平台上最优的并行数据库结构。
3. 无共享资源(Shard-Nothing)结构。在该结构中,数据库表划分在多个结点上,可以由网络的多个结点并行执行一条SQL语句,各个终点拥有自己的内存与磁盘,执行过程中通过共享的高速网络交换消息与数据。无共享资源结构是MMP和SMP群集机硬件平台上最优的并行数据库结构。
如果并行数据库系统的结构没有准确地映射到其所运行的硬件平台结构上,其效率可能会降低,或者需要额外加一层软件才能运行,或者可能根本就不能运行。
并行数据库系统的三种体系结构各有利弊。共享内存结构的并行数据库系统相对说容易实现。由于可以动态分配任务,因此各处理器的负载比较均衡。但是由于访问共享内存和磁盘会成为瓶颈,因此它的可伸缩性不佳,目前最多只能高效地扩充到32个CPU。另外由于内存错误会影响所有处理器,因此可用性也不是太好。
共享磁盘的并行数据库系统消除了访问内存的瓶颈,但访问磁盘的