文档介绍：云存储之数据迁移
云存储在数据存储的过程中,会遇到很多关于存储的数据问题,如数据不全,数据分布不均衡等,都会影响系统的性能,为了较好地规避尤其是数据分布不均衡以及产生的热点问题,衍生出了数据再均衡即数据迁移的功能。
假如在有300台存储节点(Storage Node)的云存储环境中,在存储过程中,Controller会尽量做到负载均衡,就是说这300台Storage Node的磁盘使用率会慢慢趋于相等,但是当管理员认为整体容量快满而又不足以触发清盘策略时,都会考虑加几台新的机器到集群中。加新机器之后,因为老的一批Storage Node空间基本用尽,所以之后的写存储过程都会集中到后来新增的几台机器上。
同时,对最近数据的读取也会集中在新增机器上,这就很容易造成热点问题,导致集群整体效率降低和带宽损耗。所以要求有数据迁移的负载均衡,把老的Storage Node上的数据部分迁移到新Storage Node上,直到所有StorageNode达到一个相对平衡值,这样对集群的读写访问将可以随机分配到所有Storage Node上,对在单Storage Node上新增的新磁盘也要求能进行数据迁移。
(1)同Rack中,数据从高利用率向低利用率的Storage Node进行迁移;
(2)单Storage Node,数据从高利用磁盘向低利用磁盘进行迁移。
Node利用率的高低怎么定?
同Rack的Storage ntroller会根据所有StorageNode汇报的磁盘使用信息计算出一个当前平均利用值,通过设定配置常量“上下浮动最大值”,来定位哪些StorageNode是利用正常,哪些利用是过于高的,哪些利用是过于低的。
同Storage Node的磁盘间的数据迁移:Storage Node根据自己的每个磁盘计算出各自的利用率,与当前所有磁盘平均利用率与浮动值进行比较,筛选出哪些磁盘是利用率正常的,哪些磁盘利用率是过高的,哪些磁盘利用率是过低的。
?
(1)同Rack的Storage Node间迁移:ntroller控制,过程由Storage Node自己控制。
(2)同Storage Node的磁盘间迁移:发起由Storage Node控制,过程由Storage Node控制。
?
(1)同Rack的Storage Node间迁移低利用的Storage Node都会向高利用的Storage