文档介绍：分布并行计算机技术课程论文
网站的特点,给出满足该应用需求的设计方案。要求至少包括:体系结构、核心硬件及数量、互联网络、作业调度方法、系统管理方法等设计方案及其分析,说明你的方案能否满足应用需求。
答:
订票网站具有分时段、分区域、高并发等特点,官方公布日均PV达10亿,,放眼春运期间网上订票系统,表现为页面访问延时大、登录异常、支付失败等问题。根据以上特点提出如下设计方案:
体系结构
采用大规模并行处理系统,由成百上千计算节点组成并行处理计算机系统,每个计算节点配置一个或多个处理器,各个节点相对独立,有各自独立的内存模块和操作系统。用交换机组成一个三维双向环网互联,每个三维网络连接多个节点,三维网络之间用以千兆还通道构建的核心网络连接,核心网络同时连接外设及互联网。
图1 体系结构
如上图1通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,因此通常不用担心数据丢失,而且有磁盘数据作为备份。同时把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。
(2)核心硬件及数量
按照计算需求采用共计15个计算节点,每节点配备一颗Xeon E5 12核心的中央处理器,总共180个核心。
中央处理器为英特尔提供的, E5-2692v2 12核心处理器,基于英特尔Ivy Bridge微架构(Ivy Bridge-EX核心),采用22纳米制程,。
每个节点拥有1TB内存,总内存为10TB。
互联网络
互联网络分节点内部的通信和节点之间的互联两部分。
节点内部的通信
在节点内部使用总线和共享存储器进行信息的交换。在64G的公共内存中划出一块公共的通信缓冲区,在这个缓冲区内维持1个消息队列,分别对应于每个CPU。每个原件以固定的周期查询自己的消息队列,来检查是否有传递给自己的消息;每个器件于其他器件通信时将消息放入相应的消息队列即可。
2)节点之间的互联
节点之间的互联网络采用千兆以太网相互连通,每个节点上安置一个网卡。核心网络使用以太网交换机连成多个三维立方结构(图2所示),但不仅局限于8个节点。
交换机
、图2 交换机之间的立方体结构
每台交换机和若干个节点相连(图3所示),若干立方体之间使用路由器连接,路由器之间形成最核心的网络(图4所示)。即每个交换机组成的立方体相当于一个局域网,路由器负责连接不同的局域网。节点的地址使用网卡的硬件地址。路由器中的路由表采用完全自适应算法,动态的添加和修改路由表。
图3 交换机与节点之间的链接
图5 路由器之间的核心网络
作业调度
作业调度按照先来先服务的原则,在节点中选取满足作业所需资源的节点分配给作业,如果该节点的负载大于最大负载,则此节点此时不再分配作业,如果该节点的负载小于最小负载,则将作业分配给此节点,最大负载与最小负载阈值设定可以根据系统管理员经验值所得,节点的最小负载保证队列中所有作业在