文档介绍：如何搭建小型渲染农场
关键字:渲染农场、渲染集群、渲染服务、集群管理软件
渲染农场,是指一种专门用作渲染的计算机集群技术,它采用分布式计算的方式,将渲染任务均衡的分配到集群的各个计算节点,最终将渲染结果回收。和用作高性能计算的超级计算机比起来,渲染农场的每个节点都是独立的,一般情况下它只和文件服务器和任务调度服务器等通信,和其他计算节点不做通信。而超级计算机则要求每个节点之间的网络带宽足够大,延迟足够小,因为计算时各个计算节点之间将会频繁的通信。
渲染农场的技术,包括渲染农场架构的选择,硬件的选型,机房的装修,以及渲染农场建立起来后的运维管理技术等等,是一个系统复杂的过程。而这里边最核心的则属于渲染集群管理软件,它管理着整个渲染农场的核心硬件设备,整个系统的效率很大程度依赖于此。渲染农场管理软件不仅仅管理硬件,对运维中的各种问题也需提供技术支持,例如计费系统等。在当前,只有炫我科技拥有此类“运营版”的渲染集群管理软件。
如下就以炫我集群管理软件为例,从硬件和软件环境两个方面介绍一下如何搭建运维一个小型的渲染农场。
适合于小型集群的渲染农场架构如下图1-1所示,它拥有一台管理服务器;一台文件服务器;若干台渲染节点;一台或者若干台任务提交(图形)工作站(可选)。对于小规模的集群而言,网络可以采用一个端口较多的全线速千兆以太网交换机。将管理服务器、文件服务器和渲染节点都接入同一个交换机,例如使用一个48口的千兆交换机,可以支持大约40个计算节点的小型渲染农场。
图1-1小型渲染农场架构图
如果预算较为紧张,不够买服务器,可以去DIY渲染农场的硬件。但是如果没有采取严格的质量流程,DIY硬件的稳定性是个问题。对于重要的服务器,例如管理服务器和文件服务器,还是建议采用专门厂商的方案,他们的方案往往都是经过了严格测试,因此具有更高的适用性。
一个渲染农场可以有几个渲染节点至几百个,甚至上千个渲染节点。每个渲染节点一般为高计算密度的服务器。选择时主要考虑计算性能、价格,功耗和占用空间大小。例如制作《阿凡达》的维塔工作室采用的是HP的高密度刀片服务器,每个机柜可以有4个机箱,每个机箱有16个刀片,而每个高密度刀片是两个节点,每个节点都是双路的服务器,因此每个机柜就可以拥有多大4*16*2*2=256颗处理器。相当于256台PC,但是占用空间相比非常小。如果渲染每帧的时间不是很长,内存要求也不是很大,而且对空间没什么特别要求,则可以采用DIY的PC来做渲染节点,通常情况下,一台PC能够安装8G内存,一颗处理器。由于渲染任务都是CPU密集型任务,一般要选择最高端的主流处理器,而处理器的升级换代非常快,因此当前最适合于渲染的PC配置也在不断的变化。为了淘出性价比最好的渲染节点,除了自己钻研很多性能数据外,也可以咨询炫我科技。
渲染是计算密集型,同时也是网络密集型的应用。每个渲染节点需要从文件服务器上读取场景、素材等文件,而后在本地渲染,渲染的结果也需要保存在文件服务器上。如果节点规模很大,那对文件服务器的压力非常大。根据节点的规模,需要选择合适的文件服务器架构,确保整个渲染农场可以高效率的工作。文件服务器的选择主要考虑的因素是稳定性、性能和可扩展性。一般情况下文件服务器要采用RAID技术,来提高容错性和性能,同时采用多口的服务器网卡,确保可以给渲染节点提供稳定可靠的带宽。
此节点安装渲染农场管理软件的服务器,例如炫我集群管理软件的服务器。主要任务是做任务分发等,是渲染农场的核心。渲染农场能否发挥效率,除了硬件配置需要平衡外,也需要渲染农场管理软件的高效的管理。整个渲染农场的各种服务,例如计费等,全都由渲染农场管理软件负责。此节点对性能要求不高,但是要求非常稳定。
要求I/O速度比较快,以便拷贝用户数据,并且将数据传递到文件服务器,提交任务和监控任务。在企业内部,任何一台机器都可以用作此类用途。因此不一定需要再次采购。
在上述的4种设备中,管理节点和文件服务器,无论哪一个出现硬件故障,整个集群都不能正常工作,因此要选择品牌服务器或者经过验证的DIY方案。
除了考虑上述的主要设备外,还需要考虑是否要选用机柜或者开放式机架,以及如何给计算设备配电。
一般情况下,给计算设备的供电和给制冷、照明的供电是分开的。对于文件服务器和管理节点,可以考虑有单独的UPS。同时,需要考虑整个计算设备的电压稳定情况,如果不给整个集群配备UPS电源,而且市电供电电压不稳定,则需要考虑配备稳压器,以确保渲染集群可以稳定的工作。
另外,还需要考虑制冷等。计算设备需要有一个正常的工作温度和