浪擎DAYS災(zāi)備系統(tǒng)全面破解海量小文件備份難題

　 域名預(yù)訂/競價，好“米”不錯過

數(shù)據(jù)時代

在數(shù)據(jù)時代，數(shù)據(jù)和業(yè)務(wù)的保護、數(shù)據(jù)的管理成為企業(yè)發(fā)展所必需的基礎(chǔ)條件。據(jù)有效統(tǒng)計，當前，數(shù)據(jù)量增長、重要性呈指數(shù)級激增。據(jù)國外媒體報道，來自國際數(shù)據(jù)公司和數(shù)據(jù)存儲公司希捷的一份新報告顯示，隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)產(chǎn)業(yè)的快速發(fā)展，數(shù)據(jù)流量增長速率正在不斷加快，到2025年，預(yù)計新增數(shù)據(jù)總量將從2018年的33ZB增加到175ZB。在過去幾年，全球的數(shù)據(jù)量以每年40%以上的速度增長，在未來這個速度會更快。龐大的數(shù)據(jù)量中非結(jié)構(gòu)化數(shù)據(jù)占80%左右。通常我們認為大小在1MB以內(nèi)的文件稱為小文件，百萬級數(shù)量及以上稱為海量小文件，由此量化定義海量小文件。

海量小文件的應(yīng)用在生活中已越來越常見，社會化網(wǎng)絡(luò)、移動通信、網(wǎng)絡(luò)視頻音頻、電子商務(wù)、傳感器網(wǎng)絡(luò)、科學實驗等各種應(yīng)用產(chǎn)生的數(shù)據(jù)，不僅存儲容量巨大，而且數(shù)據(jù)類型繁多、數(shù)據(jù)大小變化幅度大、流動快等顯著特點，往往能夠產(chǎn)生千萬級、億級甚至十億、百億級的海量小文件。

技術(shù)挑戰(zhàn)

數(shù)據(jù)即資產(chǎn)，龐大的數(shù)據(jù)資產(chǎn)對各企業(yè)的重要性不言而喻，需要對這些海量小文件提供保護方案來保證數(shù)據(jù)資產(chǎn)的安全性。但是傳統(tǒng)的文件備份是通過基于二叉樹遍歷的文件系統(tǒng)的遍歷后進行單通道的數(shù)據(jù)傳輸實現(xiàn)的。如果全部是幾K的文件，磁盤的遍歷時間遠遠大于實際的數(shù)據(jù)讀取時間。這給高效的實現(xiàn)海量小文件備份帶來了挑戰(zhàn)。

用戶故事

三甲醫(yī)院A每天有上萬的病人，每個病人每天產(chǎn)生的病例文件(包括病例、影像等文件)平均為1M，醫(yī)院平均每天的病人有1萬人，那一年的文件的大小是3.4TB、365萬數(shù)據(jù)左右。按醫(yī)院門診病例保存要求15年，那就有51TB、5475萬個數(shù)據(jù)。

該三甲醫(yī)院還要十幾個分院，而當前的數(shù)據(jù)中臺和大數(shù)據(jù)建設(shè)需要該醫(yī)院的總部將所有分院的數(shù)據(jù)進行匯聚和融合，初步評估數(shù)據(jù)中臺和大數(shù)據(jù)的底層數(shù)據(jù)是PB級別(1PB=1024TB)。

法院B有一個電子文件的項目，該法院有100TB左右的數(shù)據(jù)，想要建設(shè)該市所有法院的電子文件的統(tǒng)一管理平臺，粗略評估后總數(shù)據(jù)有3.6PB，并且有很多幾kb的小文件，如果按平均文件大小100KB來算，總共有396億左右的數(shù)據(jù)量。

我們再看一下網(wǎng)速，千兆網(wǎng)下網(wǎng)絡(luò)的峰值基本只有100+M/S，按照平均速度100M/s來進行數(shù)據(jù)傳輸，100TB的數(shù)據(jù)在千兆網(wǎng)下，需要12天才能傳完數(shù)據(jù)。

但是使用傳統(tǒng)的文件備份方式在文件數(shù)量達到千萬級時對業(yè)務(wù)系統(tǒng)的影響會很大，如果業(yè)務(wù)系統(tǒng)是運行很久的服務(wù)器，資源不充足的情況下甚至會導(dǎo)致業(yè)務(wù)系統(tǒng)卡頓;而文件大小低于100KB的海量小文件，在用傳統(tǒng)的文件備份方式進行備份時速度會迅速降低，之前測試1kb的千萬個小文件的備份速度只能以kb/s進行傳輸。

所以如何能夠面對海量小文件、海量小文件的時候能夠快速、低影響的進行備份就成了當前急需解決的技術(shù)問題。

浪擎解決方案

浪擎DAYS災(zāi)備系統(tǒng)全面破解海量小文件備份難題，高效守護企業(yè)數(shù)據(jù)資產(chǎn)安全。

磁盤級備份

磁盤級備份是指采用磁盤塊的方式進行數(shù)據(jù)的備份，備份文件所在的磁盤或者分區(qū)，并且恢復(fù)的時候可以自定義所需的文件進行恢復(fù)。通過磁盤級備份能夠解決海量小文件備份過程中頻繁的IO訪問對業(yè)務(wù)系統(tǒng)帶來的影響，是海量備份方案中對業(yè)務(wù)系統(tǒng)影響最小的方案之一。并且由于采用磁盤級的備份，無論文件數(shù)量有千萬還是百億，大小是1M還是1KB，對整體的備份速度都沒有影響，即千兆網(wǎng)下，磁盤級備份速度可以一直保持峰值(平均100M/S)進行傳輸。

并行多通道備份

當文件數(shù)量達到千萬級別時，以傳統(tǒng)的單通道式文件備份的形式來進行海量小文件備份，備份速度會越來越慢。針對這種情況，浪擎自主研發(fā)了并行多通道的方式進行備份，通過初始化遍歷所有的文件，然后將文件平均分配給多個通道進行數(shù)據(jù)傳輸，數(shù)據(jù)傳輸完后進行數(shù)據(jù)落盤的操作來實現(xiàn)并行多通道備份。并且即使采用最普通的8核CPU服務(wù)器進行海量小文件備份也能同時用16個通道進行海量小文件的數(shù)據(jù)傳輸。10萬以上的文件采用并行多通道的方式進行備份，備份時間是單通道的一半，并且文件數(shù)量越多，備份效率越高。

分布式多通道備份

當文件數(shù)量達到千萬級別并且文件的大小差異很大，從幾KB到幾十MB都有，這種大小差異很大的海量小文件備份時的難度更大，即使采用并行多通道的方式也會由于文件數(shù)據(jù)大小差異過大，導(dǎo)致不同通道傳輸?shù)臄?shù)據(jù)總量不同，部分通道會有閑置的情況，最終導(dǎo)致數(shù)據(jù)傳輸時間相對較長。

針對這種情況，浪擎在并行多通道備份的基礎(chǔ)上做了深度的優(yōu)化，提出分布式多通道備份方案，實現(xiàn)多通道備份的負載均衡，讓每個通道都能夠滿負荷進行數(shù)據(jù)傳輸，并行合并數(shù)據(jù)再結(jié)合實時的數(shù)據(jù)交互減少初始化的時間，達到整體的性能提高和最優(yōu)化的海量小文件備份方案。

多節(jié)點、多任務(wù)、多網(wǎng)卡傳輸

除了采用多種備份方式進行海量小文件的備份外，為了充分利用現(xiàn)有資源和提供備份的速率，浪擎還采用了多節(jié)點、多任務(wù)、多網(wǎng)卡的方式進行數(shù)據(jù)傳輸。多節(jié)點是通過將多個服務(wù)節(jié)點進行數(shù)據(jù)存儲，減少單節(jié)點的性能的局限性對備份數(shù)據(jù)傳輸?shù)挠绊?多任務(wù)是并行多個任務(wù)來實現(xiàn)數(shù)據(jù)傳輸，充分利用時間資源;多網(wǎng)卡是充分利用單節(jié)點上的多個網(wǎng)卡資源采用多個網(wǎng)卡進行數(shù)據(jù)傳輸，讓并行任務(wù)整體的備份效率提高。

關(guān)于浪擎

浪擎科技以“最大化數(shù)據(jù)價值”為使命，致力于數(shù)據(jù)安全與智能領(lǐng)域的產(chǎn)品研發(fā)和技術(shù)服務(wù)，從而推動數(shù)字化轉(zhuǎn)型發(fā)展的大變革。2011年投身災(zāi)備產(chǎn)品研發(fā)，2015年進軍全國市場，浪擎科技現(xiàn)已在上海與成都建立了兩大研發(fā)中心，在北京、浙江、江蘇、江西、四川等20余省市部署了事業(yè)辦事處

數(shù)據(jù)安全產(chǎn)品線為重要業(yè)務(wù)和數(shù)據(jù)提供全生態(tài)、全棧式的備份保護，實現(xiàn)云上云下云間的數(shù)據(jù)安全與管理;數(shù)據(jù)智能產(chǎn)品線為用戶構(gòu)建數(shù)據(jù)中臺提供全環(huán)境的、敏捷智能的數(shù)據(jù)匯聚融合與共享管理，助力數(shù)據(jù)驅(qū)動業(yè)務(wù)。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！