云計(jì)算分布式容錯技術(shù)研究

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了云計(jì)算分布式容錯技術(shù)研究范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：伴隨云計(jì)算和物聯(lián)網(wǎng)等技術(shù)受到推廣和使用，以往的存儲陣列早已不能達(dá)到飛速增長的數(shù)據(jù)存儲需要。分布式存儲擁有超規(guī)模的數(shù)據(jù)處置能力，同時無論是擴(kuò)展性、可靠性還是成本上均表現(xiàn)得極為出色，漸漸變成了公有云存儲的主流產(chǎn)品。此外，為提升云計(jì)算的運(yùn)行效率，本文提出了云計(jì)算存儲的架構(gòu)和容錯技術(shù)，并加以探究，論證了其達(dá)成過程和重要技術(shù)。通過實(shí)驗(yàn)發(fā)現(xiàn)，該容錯技術(shù)性能優(yōu)良。

關(guān)鍵詞：云計(jì)算；傳統(tǒng)存儲；分布式存儲；容錯技術(shù)

科學(xué)技術(shù)的飛速發(fā)展，云計(jì)算模型也在持續(xù)健全，當(dāng)下云計(jì)算的發(fā)展已經(jīng)成熟且受到廣泛使用。云計(jì)算作為一類資源共享的商業(yè)計(jì)算模型，每天要接受的數(shù)據(jù)量很多，并且數(shù)據(jù)化量還在持續(xù)增加，給計(jì)算環(huán)境中的分布式存儲帶來了很大的威脅。分布式存儲的重要技術(shù)是云計(jì)算的主要構(gòu)成部分，它所存在的問題將會成為云計(jì)算發(fā)展和推廣的阻礙。本文將對該技術(shù)加以分析。

1云計(jì)算技術(shù)

（1）作為服務(wù)的云計(jì)算技術(shù)是信息技術(shù)

IaaS是計(jì)算服務(wù)提供方式之一，它就像水、電、氣的供應(yīng)一樣，只要擰一下龍頭或開關(guān)，不需要自己就可以建造復(fù)雜的管線和線路。優(yōu)秀的云計(jì)算平臺可以把目前的軟件作用有效發(fā)揮，提供設(shè)備性能，在消費(fèi)IT服務(wù)時，跟消費(fèi)水、電、氣同樣便利。云技術(shù)主要包含IaaS、PaaS、SaaS三種模式。使用云計(jì)算技術(shù)，用戶可以在基于Web的平臺上進(jìn)行操作，無論何時，無論何時，只要能連接互聯(lián)網(wǎng)，任何地方都可以使用終端設(shè)備，能夠訪問所需的程序和文件，以鏈接到數(shù)據(jù)，處理工作任務(wù)。

（2）虛擬化技術(shù)

目前計(jì)算機(jī)硬件設(shè)備發(fā)展迅速，盡管設(shè)備不錯，但性能也在提高，但是無法提升資源使用率，借用虛擬化技術(shù)，可以重新分配資源。軟件技術(shù)可模仿硬件設(shè)施，可以在一臺或是多臺設(shè)備上運(yùn)轉(zhuǎn)，使該計(jì)算機(jī)的資源使用增加，在此之前可能需要五臺機(jī)器來運(yùn)行的程序，僅用一臺計(jì)算機(jī)就能運(yùn)行，極大地節(jié)約了能源。云的概念主要是用虛擬化技術(shù)向用戶提供一臺機(jī)器，其功能與實(shí)際設(shè)備相同，使用者不必知道這種機(jī)器的位置，也不必?fù)?dān)心如何管理和維護(hù)，管理人員可以根據(jù)用戶的需要提供服務(wù)。一般而言，Virtualization是一種資源管控技術(shù)，存儲空間、硬件、計(jì)算機(jī)軟件等資源重新配置時，原來每個設(shè)備只能提供給一位用戶使用，但Virtualization可以分開這些資源，使資源得以充分利用。

2云計(jì)算下分布式存儲安全性面臨的問題

在云計(jì)算基礎(chǔ)上，分布式存儲技術(shù)以“云”為根本，有自身特征，首先，大量數(shù)據(jù)集中存儲在多個數(shù)據(jù)中心，這給數(shù)據(jù)中心的存儲空間帶來了巨大的挑戰(zhàn)。與此同時，云服務(wù)消費(fèi)者需要從數(shù)據(jù)中心讀取和寫入數(shù)據(jù)，這使得數(shù)據(jù)訪問成為更大的瓶頸。為盡可能地提高空間利用率，加快數(shù)據(jù)存取速度，減少數(shù)據(jù)中心中傳輸帶寬的壓力，一定要有個小冗余，該容錯技術(shù)可以極大地節(jié)省帶寬資源。網(wǎng)絡(luò)編碼容錯技術(shù)的出現(xiàn)，為滿足上述需求提供了可能。但是在前面章節(jié)的介紹中可以看到，以網(wǎng)絡(luò)編碼為基礎(chǔ)的容錯技術(shù)可以從網(wǎng)絡(luò)中獲取足夠的數(shù)據(jù)塊，能夠?qū)⑾到y(tǒng)存儲的原始數(shù)據(jù)恢復(fù)到原來狀態(tài)，這個特性提高了系統(tǒng)的可靠性，再次成為系統(tǒng)的安全瓶頸。在云計(jì)算環(huán)境下，數(shù)據(jù)中心網(wǎng)絡(luò)相互依賴、相互連接，因此必須將數(shù)據(jù)中心向外開放，而數(shù)據(jù)中心之間又常常是地理距離較遠(yuǎn)的，很難控制數(shù)據(jù)中心中所有存儲節(jié)點(diǎn)的情況，這一特點(diǎn)還使攻擊者能夠輕松地利用數(shù)據(jù)中心的開放以實(shí)現(xiàn)對“云”的攻擊。所以在云計(jì)算環(huán)境中，分布存儲器數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)不但要保證傳輸?shù)目煽啃院托?，還要保證網(wǎng)絡(luò)設(shè)備的安全可控；將容錯技術(shù)應(yīng)用于分布式存儲，同時具有較小的冗余高可靠性，具有節(jié)約帶寬、同時要保證安全，防止仿冒、串謀等攻擊。針對這一問題，本文提出了一套安全容錯系統(tǒng)的設(shè)計(jì)方案，該系統(tǒng)包括數(shù)據(jù)中心網(wǎng)絡(luò)安全架構(gòu)和安全容錯編碼，以保證云計(jì)算環(huán)境下分布式存儲數(shù)據(jù)的安全可靠。

3云計(jì)算下分布式存儲關(guān)鍵技術(shù)架構(gòu)

（1）將服務(wù)器當(dāng)作數(shù)據(jù)中心

還可以將服務(wù)器用作數(shù)據(jù)中心，而將服務(wù)器用作數(shù)據(jù)中心的機(jī)制與將交換機(jī)用作數(shù)據(jù)中心的機(jī)制完全不同。該服務(wù)器并非專用數(shù)據(jù)存儲設(shè)備，其作用是在與因特網(wǎng)設(shè)備相連的前提下，對因特網(wǎng)上的數(shù)據(jù)進(jìn)行轉(zhuǎn)發(fā)。與用于數(shù)據(jù)中心的交換機(jī)相比，顯然，使用服務(wù)器作為數(shù)據(jù)中心更簡單，但是，把服務(wù)器當(dāng)作數(shù)據(jù)中心來使用也存在嚴(yán)重的問題，也就是說，它的數(shù)據(jù)鏈路比較長，不但減少存儲效率，另外，它本身對于較小的存儲空間也有一定的影響。上述兩個缺點(diǎn)也是需要改進(jìn)和創(chuàng)新的。

（2）將交換機(jī)作為數(shù)據(jù)核心

用作數(shù)據(jù)存儲裝置，交換機(jī)可連接網(wǎng)絡(luò)系統(tǒng)和數(shù)據(jù)中心。接通電腦后，能夠?qū)崿F(xiàn)數(shù)據(jù)包存儲、轉(zhuǎn)送、處理等。把開關(guān)看成是一棵樹，它包括三個部分：聚合層、邊緣層和核心層。將交換機(jī)作為數(shù)據(jù)核心的利弊，是顯而易見的。優(yōu)勢在于操作簡單，與服務(wù)器連接后更易擴(kuò)散。不足在于存儲數(shù)量少，已經(jīng)跟不上時代。必須將其存儲空間和靈活性加以優(yōu)化。

（3）結(jié)合交換機(jī)和服務(wù)器優(yōu)點(diǎn)

將交換機(jī)與服務(wù)器混合在一起，機(jī)理如下：首先，將交換機(jī)作為連接實(shí)時網(wǎng)絡(luò)系統(tǒng)和數(shù)據(jù)中心，在數(shù)據(jù)包上繼續(xù)存儲，傳送與處理，將帶有Internet設(shè)備的服務(wù)器作為次要對象，它還有助于交換機(jī)處理數(shù)據(jù)包、轉(zhuǎn)發(fā)和存儲工作，這使得以服務(wù)器為數(shù)據(jù)中心、以交換機(jī)為數(shù)據(jù)中心的優(yōu)勢得以最大化地發(fā)揮出來，與此同時，如果能將這兩個中心作為數(shù)據(jù)中心，數(shù)據(jù)存儲空間將獲得補(bǔ)充，彌補(bǔ)數(shù)據(jù)存儲效率不高、數(shù)據(jù)鏈路過長等缺陷，對云計(jì)算的發(fā)展是非常有用的。

4系統(tǒng)試驗(yàn)

（1）密鑰整體架構(gòu)

密鑰服務(wù)器客戶端由三部分構(gòu)成：交互模塊、存儲模塊和運(yùn)算模塊，下面介紹三個模塊的功能。交互模塊：交互模塊主要有兩種，第一種，負(fù)責(zé)與系統(tǒng)中的密碼模塊互動，獲得密鑰服務(wù)器的密鑰并將認(rèn)證所需信息提供給密碼模塊；第二種，負(fù)責(zé)將數(shù)據(jù)傳輸?shù)娇蛻舳说拇鎯δK和運(yùn)算模塊。存儲模塊：存儲模塊負(fù)責(zé)存儲密胡的密鑰、驗(yàn)證信息和分享秘密。運(yùn)算模塊：運(yùn)算模塊會共享秘密和為交互模塊供應(yīng)所需的運(yùn)算技術(shù)。

（2）存儲服務(wù)器客戶端架構(gòu)

存儲服務(wù)器客戶端架構(gòu)類包含五部分：存儲數(shù)據(jù)交互模塊、編碼數(shù)據(jù)存儲模塊、數(shù)據(jù)恢復(fù)服務(wù)器模塊、身份驗(yàn)證信息存儲模塊和運(yùn)算模塊，以下是五個模塊的功能介紹：存儲數(shù)據(jù)交互模塊為存儲服務(wù)器和系統(tǒng)存儲管理模塊提供交互接口，從系統(tǒng)存儲管控模塊獲得存儲數(shù)據(jù)，同時發(fā)送到編碼數(shù)據(jù)存儲位置；負(fù)責(zé)將服務(wù)器作為數(shù)據(jù)恢復(fù)服務(wù)器，存儲獲得外加存儲服務(wù)器的數(shù)據(jù)；運(yùn)轉(zhuǎn)過程中為保證安全性，將獲得的密鑰服務(wù)器共享碼交到運(yùn)算模塊。編碼數(shù)據(jù)存儲模塊：用于保存編碼資料。數(shù)據(jù)恢復(fù)服務(wù)器模塊執(zhí)行數(shù)據(jù)恢復(fù)操作。身份驗(yàn)證信息存儲模塊在運(yùn)行時，認(rèn)證信息存儲模塊的功能與系統(tǒng)運(yùn)行的安全編碼算法相關(guān)，并進(jìn)行安全編碼，身份驗(yàn)證信息存儲模塊存儲了服務(wù)器的身份驗(yàn)證信息，該信息用于獲取密鑰服務(wù)器的共享秘密。運(yùn)行模塊：運(yùn)行模塊主要用于安全編碼，用于還原編碼的秘密，數(shù)據(jù)恢復(fù)操作模塊用來進(jìn)行數(shù)據(jù)恢復(fù)操作。

（3）分布存儲架構(gòu)中容錯技術(shù)的實(shí)現(xiàn)

分布存儲技術(shù)是分布式存儲的關(guān)鍵技術(shù)，是系統(tǒng)可用的數(shù)據(jù)容錯技術(shù)，其對可靠性和數(shù)據(jù)訪問效率的干擾是十分顯著的。數(shù)據(jù)容錯技術(shù)一般利用增多數(shù)據(jù)冗余來達(dá)成，因?yàn)槿哂鄶?shù)據(jù)可以使失敗和丟失的數(shù)據(jù)被發(fā)現(xiàn)，并且，存儲資源耗損也在增多，所以，要確保容錯能力，盡可能提升對存儲資源利用率，還可以減少成本。在目前階段，最常用的技術(shù)分為兩種，一是基于容錯復(fù)制技術(shù)，二是基于糾刪碼的容錯技術(shù)。對于復(fù)制式容錯技術(shù)來說，可以為一個對象創(chuàng)建多個數(shù)據(jù)的同一副本，而且，它所創(chuàng)建的多個拷貝可以分布到不同的存儲節(jié)點(diǎn)。要使這項(xiàng)技術(shù)更加有效，一般情況下，以復(fù)制為基礎(chǔ)的容錯技術(shù)需要關(guān)注數(shù)據(jù)的組織和復(fù)制策略。用這些方法，海量數(shù)據(jù)對象和管理復(fù)制的方式是數(shù)據(jù)結(jié)構(gòu)的主要研究對象，復(fù)制的生成時間、拷貝的數(shù)量、拷貝的位置等都是數(shù)據(jù)復(fù)制策略需要研究的問題。會有較多的因素干擾數(shù)據(jù)的復(fù)制方式，比如運(yùn)用需要、網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)存取方式和存儲空間，等等。在研究復(fù)制方式時，應(yīng)該從復(fù)制策略入手，具體為關(guān)注并討論拷貝的創(chuàng)建時間和數(shù)目，設(shè)置策略主要是改善數(shù)據(jù)的容錯性能，當(dāng)拷貝失敗時，允許用戶從其他拷貝中獲取數(shù)據(jù)。容錯技術(shù)以糾錯碼為根本，此技術(shù)源自編碼技術(shù)，能夠允許多個數(shù)據(jù)幀的丟失，因而可以加入存儲域。通過這種方式，技術(shù)可以容忍多個數(shù)據(jù)塊失效，其中，編碼容錯技術(shù)又是被運(yùn)用最為多的。基于編碼的容錯技術(shù)是一種經(jīng)過多個數(shù)據(jù)對象而出現(xiàn)的一種編碼方式。這樣做的目的能降低完全復(fù)制產(chǎn)生的存儲開銷。但由于計(jì)算量太大，維修費(fèi)用太高是它的弊端。

5結(jié)束語

總之，科技飛速發(fā)展的今天，云不知不覺地改變了我們的生活，它以一種新的計(jì)算方式改變了世界，云計(jì)算還可以更新時調(diào)整數(shù)據(jù)環(huán)境，從而更有效鏈接更多數(shù)據(jù)點(diǎn)和網(wǎng)絡(luò)設(shè)施。IT行業(yè)的飛速發(fā)展，帶動了分布式存儲技術(shù)的發(fā)展和進(jìn)步，改進(jìn)數(shù)據(jù)的容錯能力，并使用多種節(jié)能技術(shù)減少能源損耗，其擴(kuò)展性強(qiáng)大，在實(shí)際生活中，屬于分布式存儲的數(shù)據(jù)中心。

參考文獻(xiàn)：

[1]李鑫，孫蓉，劉景偉.分布式存儲系統(tǒng)中容錯技術(shù)綜述[J].無線電通信技術(shù)，2019（5）：463-475.

[2]郭威，謝光偉，張帆，等.一種分布式存儲系統(tǒng)擬態(tài)化架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2020，514（06）：18-25.

[3]孫黎，蘇宇，張弛，等.分布式存儲系統(tǒng)中的糾刪碼容錯方法研究[J].計(jì)算機(jī)工程，2019（11）：74-80.

[4]李浩，樊鵬華.關(guān)于云計(jì)算環(huán)境下的分布式存儲關(guān)鍵技術(shù)分析[J].電子世界，2019，578（20）：189-190.

作者:李振 單位:浙江長征職業(yè)技術(shù)學(xué)院