文档介绍：重复数据删除技术
重复数据删除技术

当前,不管是权威机构,还是众厂商,都非常看好重复删除技术。重复数据删除通过
有效地减少数据,消除备份成为降低数据存储成本的重要技术,成为大家关注的焦点。然
而,重复数据删除是否可以在你的存储设备下工作?你如何在海量的数据中应用重复数据
删除技术?本专题深入探讨重复数据删除技术,针对各种重复数据删除产中提出评估建
议。

为什么需要重复数据删除?

随着企业的数据量不断增长,大量的重复数据给存储带来严峻的挑战。重复数据删除
带来了多种好处。存储量减少,从而降低了存储成本。这意味着只需更少的磁盘和更低频
率的磁盘采购。更少的数据同时也意味着备份更小。

•重复数据删除迅猛发展
•如何通过重复数据删除降低存储成本

什么是重复数据删除?

重复数据删除,也被称为智能数据压缩或单一实例存储。它是一种可以减小数据存储
需求的手段。本系列文章将介绍重复数据删除是如何工作的,重复数据删除技术的基本原
则和具体实现等相关问题,并列举一些该技术在实际应用中的例子。

TT 存储技术专题之重复数据删除技术
•重复数据删除是如何工作的?
•确保重复数据删除的高可用性
•重复数据删除技术如何缓解存储需求

重复数据删除有哪些产品?

重复数据删除还是一个新的市场,不同的厂商为客户提供了不同的产品,这也使得实
现重复数据删除的方式变得多样化,而客户面临的则是困难的抉择。让我们来看一下不同
的重复数据删除产品及如何评估基于硬件的重复数据删除产品。

•重复数据删除产品一览
•如何评估基于硬件的重复数据删除产品
•如何评估基于软件的重复数据删除产品

重复数据删除技术比较

重复数据删除和其他技术有很多相似点和不同点,在这一系列中我们将深入探讨 CAS
和重复数据删除,讨论它们的用途并总结这两种技术的优缺点;介绍压缩、重复数据删除
和加密的区别,比较和对照 in-band(带内)和 out-of-band(带外)两种重复数据删除方式,以
及它们各自存在的利弊。

• CAS 和重复数据删除:归档双雄
•压缩、重复数据删除和加密的区别
•重复数据删除 in-band VS out-of-band

TT 存储技术专题之重复数据删除技术
重复数据删除迅猛发展

存储经理们已经意识到了重复数据删除技术的诸多优点。
Federal Reserve 银行的存储架构师 Michael Thomas 在最近的“存储决策大会”上说:
“如今我是不会购买一个不具有重复数据删除的二级存储设备的。”
其原因,是显而易见的。最新的虚拟磁带库(VTL)已经将重复数据删除技术作为一大
特点包括在内,据称通过删除重复冗余的备份数据,在存储空间上可以为用户提供 50:1 的
压缩比。所节省下的每 GB 的成本是相当可观的。
Robert Amatruda 认为,“随着重复删除的应用,现今 VTL 的经济性已
可以与磁带相比了,”GlassHouse Technologies 公司数据保护服务部的副总裁 Curtis
Preston 估计,一个中端磁带库每 GB 的成本估计在 4 美元到 11 美元之间,而无压缩或无
重复删除的磁盘每 GB 的价格大约在 3 美元到 11 美元,
VTL 的供应商预测,对于保存期为一年的每周全面备份和保存期为十天的每日增量备
份,要保证数据在其生命期内的存储,每 TB 的数据将需要 53TB 的存储空间。随着存储
容量以这种速度增长,任何能够节省这笔资金的方式都会受到用户的欢迎。
重复删除产品的推出,可以帮助用户遏制这种增长速度。主要的厂商包括:Data
Domain、Diligent Technologies、ExaGrid、 FalconStor work Appliance
(NetApp)、NEC、Quantum(昆腾)、Sepaton 和 Symantec(赛门铁克)。EMC
收购了 Avamar Technologies 公司并计划在今年晚些时候将它的重复删除技术并入其备份
部门。HDS 与 Diligent Technologies 公司、IBM App 一起合作开发重复删除产
品。
Taneja Arun Taneja 说:“重复数据删除的优点已经相当
明显了。”但是,他认为,重复数据删除采用的不同方式和所得