導(dǎo)讀：重復(fù)數(shù)據(jù)刪除

　　技術(shù)的產(chǎn)生是有一定的淵源，那就從頭說起，雖然現(xiàn)在存儲介質(zhì)的價格直線下滑，單位存儲成本已經(jīng)很低。但是仍然跟不上企業(yè)數(shù)據(jù)文件增長的速度。隨之而來的，能源消耗、數(shù)據(jù)備份管理等等也都成了老大難問題。而且一些重復(fù)的文件也隨著增多了。

　　為此企業(yè)現(xiàn)在迫切需要一門技術(shù)，能夠確保在存儲設(shè)備中存儲的是獨一無二的文件。在這種背景下，重復(fù)數(shù)據(jù)刪除技術(shù)就應(yīng)運而生啦。重復(fù)數(shù)據(jù)刪除技術(shù)的目的很簡單，就是確保存儲的文件不重復(fù)，從而減少數(shù)據(jù)容量。不過在實際工作中，由于種種原因用戶對這個技術(shù)還存在著一些誤解。消除這些誤區(qū)，對于大家正確使用重復(fù)數(shù)據(jù)刪除技術(shù)很關(guān)鍵。

　　誤區(qū)一：后期處理重復(fù)數(shù)據(jù)刪除技術(shù)的工作時機。

　　重復(fù)數(shù)據(jù)刪除技術(shù)根據(jù)其實現(xiàn)的方式可以分為聯(lián)機重復(fù)數(shù)據(jù)刪除技術(shù)和后期處理重復(fù)數(shù)據(jù)刪除技術(shù)。兩個技術(shù)各有各的特點。不過由于后期處理重復(fù)數(shù)據(jù)刪除技術(shù)這個名字起得有點其一，所以不少用戶對此存在著誤解。如一些人會誤認(rèn)為后期處理重復(fù)數(shù)據(jù)刪除方式是當(dāng)所有數(shù)據(jù)備份過程結(jié)束后才進行驗證、刪除操作的。如果大家這么認(rèn)為，那么就是大錯特錯了。

　　其實后期處理重復(fù)數(shù)據(jù)刪除技術(shù)通常是在虛擬的磁帶介質(zhì)寫入備份數(shù)據(jù)后就開始進行工作了。也就是說實在等待虛擬磁帶寫滿之后就開始。當(dāng)然這中間根據(jù)需要有一定的延遲。如存儲管理員可以根據(jù)不同的情況對這個延遲進行設(shè)置。可以只延遲短短的幾分鐘，也可以延遲幾個小時。延遲時間具體為多少，主要還是根據(jù)企業(yè)的實際情況來選擇。如有些管理員可能會將這個作業(yè)放在服務(wù)器比較空閑的時候進行，此時就會把這個延遲設(shè)置的比較長一點，如等到下班后進行等等。

　　這里需要注意的是一般情況下，為了提高數(shù)據(jù)備份的效率，會對數(shù)據(jù)備份進行分組管理。此時等待時間是從第一組備份任務(wù)傳送備份數(shù)據(jù)流開始算起。當(dāng)?shù)谝槐P虛擬的備份磁帶寫滿或者第一組備份數(shù)據(jù)寫入結(jié)束后，重復(fù)數(shù)據(jù)刪除處理就不存在延遲等待問題。

　　這主要是因為當(dāng)系統(tǒng)在進行前一組寫入備份數(shù)據(jù)進行重復(fù)數(shù)據(jù)刪除處理時，被分系統(tǒng)可以繼續(xù)往后續(xù)虛擬磁帶介質(zhì)中寫入第二組的備份數(shù)據(jù)。簡單的說，就是重復(fù)數(shù)據(jù)處理作業(yè)與備份數(shù)據(jù)的寫入作業(yè)可以獨立運行。從而提高數(shù)據(jù)處理的效率。

　　誤區(qū)二：后期處理重復(fù)數(shù)據(jù)刪除方式會降低整體備份的效率。

　　如果光從技術(shù)上看，這個結(jié)論是成立的。一方面重復(fù)刪除方式會占用服務(wù)器的資源。另一方面，重復(fù)刪除方式存在著一定的延遲。但是這是一個比較孤立的觀點。因為根據(jù)現(xiàn)在的重復(fù)數(shù)據(jù)刪除技術(shù)，完全可以通過合理的配置來消除這種負(fù)面影響。

　　在實際工作中，如果技術(shù)人員發(fā)現(xiàn)后期處理重復(fù)數(shù)據(jù)刪除技術(shù)降低了數(shù)據(jù)備份的效率，那么可以通過如下幾種方式來消除這個不利影響。一是可以將重復(fù)數(shù)據(jù)刪除技術(shù)分配到多個單獨的服務(wù)器上來分擔(dān)服務(wù)器的壓力。一般情況下在對已寫入的備份數(shù)據(jù)進行重復(fù)數(shù)據(jù)刪除時，不同的處理引擎往往會訪問同一磁盤陣列。不過現(xiàn)在的技術(shù)可以使得他們訪問同一磁盤陣列的不同區(qū)域。

　　換句話說，就是可以實現(xiàn)高速的并發(fā)處理。這樣的話，就不會和持續(xù)寫入的備份數(shù)據(jù)流產(chǎn)生任何的沖突，從而不會影響數(shù)據(jù)備份的效率。二是可以適當(dāng)調(diào)整數(shù)據(jù)延遲的時間。如可以縮短延遲時間，或者適當(dāng)延長延遲時間避開數(shù)據(jù)備份的高峰時間等等。

　　總之，后期處理重復(fù)數(shù)據(jù)刪除技術(shù)在一定程度上確實會影響到數(shù)據(jù)備份的整體效率。但是通過合理的配置，可以將這個負(fù)面影響降低到最低的程度。至少與其優(yōu)勢相比，這個負(fù)面影響是可以忽略不計的。

　　誤區(qū)三：降低備份數(shù)據(jù)流的讀取速度不利于數(shù)據(jù)備份。

　　從技術(shù)上說，在同等條件下采取重復(fù)刪除技術(shù)，肯定會在一定程度上降低備份數(shù)據(jù)流的讀取速度。但是存儲管理員需要明白一點，評價一個技術(shù)是否合適，并不能夠只看一個指標(biāo)，而應(yīng)該從總體上去評價。簡單的說，需要評價一下總體的備份時間是否有所縮

　　另外值得一提的是，如果采取重復(fù)數(shù)據(jù)刪除技術(shù)的話，一般要求相關(guān)設(shè)備要有比較高的配置或者性能。因為從數(shù)據(jù)備份的任務(wù)來看，其實包括兩個部分，分別為數(shù)據(jù)的傳統(tǒng)備份與重復(fù)數(shù)據(jù)刪除作業(yè)。雖然說這兩個作業(yè)可以獨立運行，但是其運行所需要的時間是不同的。

　　而只有黨重復(fù)數(shù)據(jù)刪除處理結(jié)束之后，整個備份作業(yè)才算真正完成。故如果后期處理重復(fù)數(shù)據(jù)刪除設(shè)備的性能比較差時，就會降低系統(tǒng)的重復(fù)數(shù)據(jù)刪除比。故筆者在部署這個項目的時候，往往會對重復(fù)數(shù)據(jù)刪除設(shè)備進行評估與測試，看其性能上是否能夠滿足要求。

　　在現(xiàn)實工作中有很多案例可以說明，雖然采用重復(fù)數(shù)據(jù)刪除技術(shù)后會在一定程度上降低存儲數(shù)據(jù)流的讀取速度，但是卻可縮短整個備份作業(yè)所花的時間，能夠滿足RTO的需求。有句俗話說的好，只看結(jié)果不看過程。評價任何一門技術(shù)都是如此，應(yīng)該從一個整體上進行評價，而不能夠某幾個個別的指標(biāo)。否則的話，就可能會引起用戶的誤判。

　　誤區(qū)四：重復(fù)數(shù)據(jù)刪除技術(shù)與備份數(shù)據(jù)流寫入作業(yè)無法同時運行。

　　如果備份數(shù)據(jù)流在寫入的時候，只對同一個磁盤進行操作，那么這個問題確實存在。但是在現(xiàn)實工作中，這是根本不存在的。因為在實際應(yīng)用中，重復(fù)數(shù)據(jù)刪除技術(shù)往往是跟虛擬存儲等結(jié)合使用的。也就是說，一般會將備份數(shù)據(jù)流寫入到多盤虛擬磁帶介質(zhì)中。而實際寫入磁帶的數(shù)量往往會遠(yuǎn)遠(yuǎn)大于用戶實際擁有的磁帶驅(qū)動總數(shù)。

　　上文中就是大家可能對重復(fù)數(shù)據(jù)刪除技術(shù)的誤解，希望大家通過本文的學(xué)習(xí)之后能夠正視重復(fù)數(shù)據(jù)刪除技術(shù)，讓重復(fù)數(shù)據(jù)刪除技術(shù)很好的為用戶服務(wù)。

it知識庫：消除重復(fù)數(shù)據(jù)刪除的四大誤區(qū)，轉(zhuǎn)載需保留來源！

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請第一時間聯(lián)系我們修改或刪除，多謝。