文档介绍：构建高可用、高性能的GPFS集群
王荣,技术支持工程师，IBM科技产品（深圳）有限公司
2007年12月27日
本文通过一个实际的生产系统案例，主要介绍了搭建高可用并行文件系统集群（GPFS）的设计思路和设计过程中的问题解决。本文也到的数据安全机制来保证，另外也通过一套可用性判断机制来完全保证数据完整性与系统安全。
GPFS提供三套不同的 quorum机制来判断系统当前的状态，其中File Descriptor Quorum是系统内置的，不能做配置，另外两种node quorum和tiebreaker quorum方式只能二者选其一，使用那种方式要基于我们的系统环境与可靠性分析。
. File system Descriptor Quorum，File system Descriptor 顾名思义即描述文件系统信息的数据。我们在几个不同的failure-group的磁盘上创建GPFS文件系统时，会把文件系统的配置信息（简写为FD）的拷贝写到多个磁盘上，以实现冗余备份。FD quorum的机制即通过判断含有 FD磁盘的在线情况来判断当前系统是否正常，当超过半数的含有FD的磁盘掉线时，就判断为系统故障，将会自动关闭文件系统。
.Node Quorum是通过主机状态的来判断系统可用性的机制。GPFS文件系统集群中，可以设置多个主机节点为Quorum nodeo Node Quorum的机制是通过判断Quorum node的状态来判断系统是否正常，当超过半数的 Quorum node在线时，判断系统为正常，反之，将关闭文件系统。
.Tiebreaker quorum是通过磁盘的状态来判断系统的可用性。我们可以设置系统通过监视指定的一些磁盘作为Tiebreaker Disk。当超过半数的 Tiebreaker Disk掉线时，则判断系统故障，将自动关闭文件系统。 Tiebreaker最多只能配置两个用来监控磁盘状态的quorum主机，当2 台quorum主机都宕机的话，GPFS系统也将会关闭。其优势在于节点数较少时可用性较高，但节点数较多的情况建议采用Node quorum模式。
根据以上三种判断机制，GPFS自动判断系统的状态，当异常发生时自动关闭系统以保护系统和数据的完整性。
GPFS可靠性分析与如何设计
基于上面阐述的GPFS可用性机制，我们可以看出GPFS是通过上述的三种 quorum机制来检查资源是否超过半数状态正常来判断系统状态好坏。我们在设计GPFS文件系统集群的时候需要注意最好保证各种资源数都为2N+1个（N是指数量），也即数量为奇数，来获得系统最大的可用性。
Filesystem Descriptor （FD）Quorum的设计。我们在一般的生产系统中都会使用两组不同的failure group的磁盘来创建一个文件系统，以实现数据的冗余保护，但是丢失一个failure group的磁盘实际不影响数据的完整性，但是由于FD quorum 2N+1的机制，文件系统仍将会关闭，所以我们在创建一个GPFS文件系统时，可以通过增加一个很小的本地的磁盘作为第三个failure groupo以实现2N+1的冗余设计。本地的磁盘可以设置为只保存GPFS文件系统信息（FD），实际不参与数据读写。（同一个failure group的磁盘是指有可能同时坏掉的磁盘，比如来自同一个存储的磁盘或连在同一个适配器上的磁盘）
Node Quorum如果采用了 2N+1个Quorum Node，那么这个系统就能容忍 N个主机节点的离线，所以如果主机节点小于5个采用此种方法都不是很经济，此时建议采用Tiebreaker quorum机制。
• Tiebreaker quorum只能配置两个quorum主机，但是只要tiebreaker 磁盘在线，只有一个quorum主机状态正常，系统也能正常工作，同时也意味着必须有一台quorum主机在线。如果是主机节点数较多的情况，采用此种机制其可靠性不如Node quorum o
回页首
实例方案需求描述: 测试系统需要构建一个高性能且高可靠的文件系统平台。其基本要求如下:
文件系统读写带宽至少达到720MByte/s。
工作负荷每天超过16小时或两个轮班。
由4台主服务器和2台存储提供服务。
至少2TB的空间，存放的文件大小一般在600MB左右，文件传输80% 采用 samba 或 NFS，20% 采用 TFTP。
回页首
实例方案分析：
•性能考虑，系统读写带宽要达到720MByte/s，均分到4台服务器就是 180MByte/s。如此高的带宽采用普通的服务器内置磁盘无法满足要求。所以我们在磁盘存储这一层采用了 DS