molinda 发表于 2015-2-25 14:50:06

基于重复数据删除技术的数据容灾系统的研究

重复数据删除(data de-duplication) 也称为智能压缩(intelligent compression) 或
单一实例存储(single-instance storage ),是一种可自动搜索重复数据,将相同的数据
只保留唯一的一个副本,并使用指向单一副本的指针替换掉其它重复副本,以达到消除
数据冗余、降低存储容量需求的存储技术。
常见的重复数据删除技术有两种情况:(1)文件复制消除技术,它可以识别两个文
件名不同但是内容完全相同的文件,或者不同目录下相同的文件,可以避免相同文件的
多次存储;(2)数据块冗余消除技术,它比文件复制消除的存储效率更高,它可以在文
件中搜索相同的数据块,将相同的块保存为一个唯一的副本。目前重复数据删除技术主
要有基于文件级、散列(hash)和内容识别三种实现方式。
重复数据删除是一种独特存储技术,分析师认为它可能是存储行业最重要的一项新
兴技术,将改写存储行业的经济规则:借助于重复数据删除技术,使得实际存档的数据
呈几何级别递减,用户的存档数据所占用的空间将会缩减为现在的5%,从而大幅削减
存储成本。
重复数据删除效率来源于文件的相似性,但重复数据删除技术并不要求所有资料
都采用某个独特的算法和方案,而是提供一个或多个冗余数据消除的技术框架,具体技
术实现一般采用多种算法结合使用,实现逐步特征匹配过程。即:首先匹配相同的文件,
其次匹配高相似性的文件,最后匹配有某些相似的文件。因此,重复数据删除技术可使
各种不同类型的数据存储系统受益。
**** Hidden Message *****


IT狂人 发表于 2015-3-25 14:22:55

去重在带库不够的时候尤其显得重要

哆啦A梦 发表于 2015-3-27 07:53:08

重复数据删除技术哪个厂商的最好?是netapp还是emc?

xiaoxiao1988 发表于 2015-3-29 15:42:24

有没有具体的案例型的,看看到底数据上有多少亮点

传说2020 发表于 2015-3-30 15:45:08

会不会太耗带库了?2m异地传送速度怎么样?数据库的删除比率是多少?谢谢了

mona豆豆 发表于 2015-10-14 13:49:19

{:2_29:}{:2_29:}{:2_31:}{:2_31:}

dongxl 发表于 2015-11-5 14:56:51

学习,支持!学习!学习!

ccbblues 发表于 2015-12-29 16:55:55

谢谢 非常很好

qulei1 发表于 2016-6-7 13:55:32

就斤斤计较斤斤计较斤斤计较斤斤计较

StaceyQ 发表于 2020-11-22 22:39:47

感谢楼主分享!
页: [1]
查看完整版本: 基于重复数据删除技术的数据容灾系统的研究