文档介绍：图片服务器搭建与调研
(一) 淘宝图片服务器现状及演变过程 2
2
TFS 3
TFS 4
CDN架构 6
Squid 7
(二) Facebook图片服务器现状及演变过程 7
基于NFS(网络文件系统)设计 7
Haystack架构 8
TFS与Haystack的区别 10
(三) 对于自行搭建图片服务器的建议 10
整理于2015/8/12
Demi
图片服务器搭建与调研
(一) 淘宝图片服务器现状及演变过程
2013年的数据:
已占用空间1PB 保存图片数量286亿个
8k以下图片占总量61%
应用集群规模: 200台PC 系统部署存储容量140T 实际存储容量50TB
单台支持随机IOPS 200+ 流量3MBps
TFS
应用集群规模: 4400台PC(300G*12 SAS)+30台PC(600G*12 SAS)
系统部署存储容量1800T 实际存储容量995TB
单台支持随机IOPS 900+ 流量15MBps+
Name Server物理内存 217MB(服务器使用千兆网卡)
重点改善心跳和同步和扁平化的数据组织结构
建立自有文件系统摒除RAID5机制
TFS
Name Server主要功能是: 管理维护Block和Data Server相关信息,包括Data Server加入,退出, 心跳信息, block和Data Server的对应关系建立,解除。Data Server主要功能是: 负责实际数据的存储和读写
CDN架构
Squid
使用说明
http://elf8848./blog/1724423
使用中可能遇到的问题
http://blog./uid-20196318-id-
(二) Facebook图片服务器现状及演变过程
2014年的数据:
FB存储超过20PB数据每星期上传数据达60TB
每秒查询超过1million图片
基于NFS(网络文件系统)设计 NAS-(网络附属存储)
图片存储服务器明确的缓存NAS设备返回的文件"句柄"。第一次读取一个文件时,图片存储服务器正常打开一个文件,将文件名与文件"句柄"的映射缓存到 memcache中。同时,我们在os内核中添加了一个通过句柄打开文件的接口,当查询被缓存的文件时,图片存储服务器直接用此接口和"句柄"参数打开文件。
Haystack架构
三个核心组件:Haystack Store、Haystack Directory和Haystack Cache。
Store是持久化存储系统,并负责管理图片的文件系统元数据。Store将数据存储在物理的卷上,Haystack将一个图片存储到一个逻辑卷时,图片被写入到所有对应的物理卷。
Directory维护了逻辑到物理卷的映射以及其他应用元数据:第一,提供一个从逻辑卷到物理卷的映射,web服务器上传图片和构建图片URL时都需要使用这个映射。第二,Directory在分配写请求到逻辑卷、分配读请求到物理卷时需保证负载均衡。第三,Directory决定一个图片请求应该被发至CDN还是Cache