地震前兆臺網(wǎng)數(shù)據(jù)通信技術(shù)探析

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了地震前兆臺網(wǎng)數(shù)據(jù)通信技術(shù)探析范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要針對地震前兆數(shù)據(jù)到云端傳輸?shù)目煽?、穩(wěn)定和高效問題，研究了前兆數(shù)據(jù)通信策略中云端的資源動態(tài)分配方式以及基于UDP通信協(xié)議的傳輸技術(shù)和高效數(shù)據(jù)壓縮技術(shù)，實(shí)現(xiàn)將數(shù)據(jù)以盡快速度可靠的傳輸?shù)皆贫说臄?shù)據(jù)匯聚平臺，為前兆海量數(shù)據(jù)信息的存儲、分析、清理、分割提供通信傳輸保障。

關(guān)鍵詞云平臺；前兆臺網(wǎng)；傳輸技術(shù)；通信策略

引言

云平臺的出現(xiàn)，至今已趨于成熟，數(shù)據(jù)采集與管理的扁平化是大勢所趨，地震前兆數(shù)據(jù)的產(chǎn)出、處理、分析、存儲以及管理也必然走上扁平化道路，即將改變目前逐級匯集的管理模式，實(shí)現(xiàn)數(shù)據(jù)的可靠高效傳輸，達(dá)到儀器到云端直接對接的要求。地震前兆觀測數(shù)據(jù)可以利用這種新的基于互聯(lián)網(wǎng)的計(jì)算方式和資源應(yīng)用平臺，通過網(wǎng)絡(luò)將龐大復(fù)雜的數(shù)據(jù)交由多部服務(wù)器組成的巨大系統(tǒng)平臺進(jìn)行統(tǒng)一計(jì)算、分析和存儲。把分布在全國各地的地震前兆觀測儀器接入目前相對成熟的云計(jì)算和云存儲平臺，實(shí)現(xiàn)分別采用“模擬”、“九五”和“十五”等標(biāo)準(zhǔn)的異構(gòu)設(shè)備統(tǒng)一接入到云架構(gòu)管理平臺，從而將當(dāng)前多節(jié)點(diǎn)數(shù)據(jù)存儲[1]，多級匯集、分發(fā)的組網(wǎng)模式，改為中心存儲、單級采集管理模式。這一數(shù)據(jù)生產(chǎn)管理模式的實(shí)現(xiàn)必須建立在數(shù)據(jù)通信系統(tǒng)的可靠、穩(wěn)定和高效的基礎(chǔ)之上。臺網(wǎng)數(shù)據(jù)源，即儀器數(shù)據(jù)傳輸?shù)皆贫说姆植际骄W(wǎng)絡(luò)環(huán)境，尤其是對跨區(qū)域傳輸中如何保證網(wǎng)絡(luò)的穩(wěn)定性、傳輸效率和數(shù)據(jù)的一致性提出了非常高的要求。本文針對如上問題設(shè)計(jì)了高性能云傳輸技術(shù)方案，克服網(wǎng)絡(luò)帶寬有限、狀態(tài)不夠穩(wěn)定等問題，實(shí)現(xiàn)對大容量數(shù)據(jù)高效傳輸，并最大限度地提升網(wǎng)絡(luò)帶寬利用率。

1數(shù)據(jù)傳輸方案設(shè)計(jì)

把前兆數(shù)據(jù)采集扁平化，集中于云端管理，確保數(shù)據(jù)傳輸?shù)囊恢滦?、可靠性和高效性是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵所在，針對該問題本文對數(shù)據(jù)傳輸部分進(jìn)行了設(shè)計(jì)。在該設(shè)計(jì)中將高性能云傳輸分為數(shù)據(jù)傳輸引擎、資源索引服務(wù)、文件處理組件和用戶應(yīng)用終端4個組成部分。數(shù)據(jù)傳輸引擎基于UDP用戶數(shù)據(jù)報(bào)協(xié)議，利用數(shù)據(jù)壓縮技術(shù)降低數(shù)據(jù)傳輸占用帶寬，同時改進(jìn)UDP傳輸協(xié)議，提高數(shù)據(jù)傳輸效率和可靠性；文件處理組件和資源索引服務(wù)基于文件系統(tǒng)，提供數(shù)據(jù)的校驗(yàn)、存儲及檢索功能，保持?jǐn)?shù)據(jù)的一致性；用戶應(yīng)用終端針對數(shù)據(jù)傳輸、索引服務(wù)、文件處理等底層功能組件的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，完成系統(tǒng)資源的動態(tài)分配。從數(shù)據(jù)通信傳輸系統(tǒng)設(shè)計(jì)可看出，確保數(shù)據(jù)傳輸?shù)母咝Э煽?，包含了云端資源動態(tài)分配、基于UDP協(xié)議的可靠通信和數(shù)據(jù)壓縮技術(shù)等關(guān)鍵技術(shù)部分。

2資源動態(tài)分配模塊設(shè)計(jì)

從前兆臺網(wǎng)數(shù)據(jù)傳輸?shù)墓ぷ髁鞒虂砜?，首先前兆?shù)據(jù)需要通過終端接入網(wǎng)絡(luò)，向云端提出數(shù)據(jù)傳輸需求，然后云端接受請求后分配基礎(chǔ)設(shè)施資源，如內(nèi)存、CPU、網(wǎng)絡(luò)帶寬等，最后完成數(shù)據(jù)通信任務(wù)。在數(shù)據(jù)通信過程中，通過資源動態(tài)分配，實(shí)現(xiàn)可用資源的最大化利用。。整個云端實(shí)際上在一個虛擬系統(tǒng)的管理下，再細(xì)分為多個虛擬系統(tǒng)（虛擬機(jī)），每個虛擬機(jī)作為一個工作節(jié)點(diǎn)，虛擬機(jī)的系統(tǒng)資源多少是可動態(tài)分配的。每個虛擬機(jī)占用的核心資源是動態(tài)分配的，系統(tǒng)通過監(jiān)控管理功能模塊對應(yīng)用層和接口層的資源消耗進(jìn)行動態(tài)監(jiān)控，當(dāng)各個前兆節(jié)點(diǎn)向中心云端發(fā)送數(shù)據(jù)請求時，虛擬機(jī)所要求的物理資源隨之變化。虛擬機(jī)根據(jù)請求對象的優(yōu)先級以及當(dāng)前虛擬機(jī)的資源分配情況，重新評估物理資源的可用性，并進(jìn)行再次分配，達(dá)到動態(tài)分配的效果，實(shí)現(xiàn)分配滿足性能要求的最小資源量，從而提高資源利用率和滿足功能執(zhí)行需要。中心云端接到數(shù)據(jù)通信請求后按照任務(wù)類型，預(yù)先定義任務(wù)執(zhí)行完成所需要的內(nèi)存（估算），如：采集分鐘值數(shù)據(jù)需要2MB內(nèi)存，采集秒數(shù)據(jù)需要20MB內(nèi)存等；對當(dāng)前CPU使用情況進(jìn)行分析，并對完成通信任務(wù)所需資源進(jìn)行評估，以及對當(dāng)前帶寬容量進(jìn)行檢測，根據(jù)資源情況，對當(dāng)前通信請求進(jìn)行有效資源分配，在分配任務(wù)的時候首先將正在運(yùn)行的任務(wù)所需的內(nèi)存數(shù)減掉，然后再分配任務(wù)。每分配一個任務(wù)都要在可用內(nèi)存數(shù)的基礎(chǔ)上將任務(wù)所需內(nèi)存減掉，如果減掉后的結(jié)果大于設(shè)計(jì)預(yù)留內(nèi)存數(shù)，則分配任務(wù)運(yùn)行，否則，等待下一輪分配。

3可靠UDP協(xié)議數(shù)據(jù)通信設(shè)計(jì)

一般情況下，實(shí)現(xiàn)可靠數(shù)據(jù)傳遞的方法主要采用傳輸控制TCP協(xié)議。但是，TCP協(xié)議有一個根本的速度瓶頸，這個瓶頸隨著傳輸延遲和網(wǎng)絡(luò)丟包率的增加而變得愈發(fā)明顯。速度瓶頸的形成和TCP控制數(shù)據(jù)流量速率的機(jī)制密切相關(guān)。TCP協(xié)議的數(shù)據(jù)分片和基于分片的確認(rèn)方式，要占用一些通信帶寬，降低了以太網(wǎng)上的有效荷載；同時TCP是基于點(diǎn)對點(diǎn)連接方式的，不能充分利用以太網(wǎng)絡(luò)對突發(fā)傳輸?shù)闹С諿2-3]。用戶數(shù)據(jù)報(bào)協(xié)議（UDP）是ISO參考模型中的一種無連接的傳輸層協(xié)議，提供面向操作的簡單非可靠信息傳送服務(wù)。傳統(tǒng)UDP協(xié)議通信效率高、可靠性較差，不適合對可靠性要求較高的應(yīng)用環(huán)境。隨著網(wǎng)絡(luò)傳輸?shù)目焖侔l(fā)展，一種基于UDP協(xié)議的簡單可靠傳輸協(xié)議可以在保證高效性的基礎(chǔ)上提高通信雙方傳輸?shù)目煽啃浴砣刂茩C(jī)制將速率控制和流量控制兩者結(jié)合起來：前者通過調(diào)整包的發(fā)送間隔來控制包的發(fā)送速率；后者則通過限制可以發(fā)送的包的最大序號來調(diào)整發(fā)送方一次可以發(fā)送的數(shù)據(jù)。我國地震前兆觀測數(shù)據(jù)通過專有線路網(wǎng)絡(luò)傳輸，而專有線路網(wǎng)絡(luò)的帶寬和誤碼率等網(wǎng)絡(luò)參數(shù)都位于可控范圍，且占用網(wǎng)絡(luò)帶寬的應(yīng)用也比較確定，因此，網(wǎng)絡(luò)狀況較為簡單，當(dāng)出現(xiàn)網(wǎng)絡(luò)擁塞時，按照特定的算法平緩地降低發(fā)送速率，直至擁塞消除，同時能兼顧帶寬利用率。。采用UDP協(xié)議完成數(shù)據(jù)傳輸，但在傳輸端和發(fā)送端需要進(jìn)行傳輸控制信息交互，確認(rèn)數(shù)據(jù)的一致性，從而保障數(shù)據(jù)傳輸?shù)目煽啃?。同時該設(shè)計(jì)相對TCP協(xié)議從多個方面提高了數(shù)據(jù)的傳輸效率：①UDP協(xié)議無需數(shù)據(jù)分片，將數(shù)據(jù)接收和確認(rèn)分開，無需等待確認(rèn)，數(shù)據(jù)接收方定期發(fā)送方報(bào)告數(shù)據(jù)包的接收情況，包括接收到的和未接收到的包的序號；②由于確認(rèn)數(shù)據(jù)的發(fā)送速率保持恒定，從而確?！按_認(rèn)”的開銷為常量，因此，帶寬越大，報(bào)文確認(rèn)的開銷占比越??；③UDP協(xié)議的無連接方式，省去了連接維護(hù)負(fù)擔(dān)，可充分利用以太網(wǎng)絡(luò)支持突發(fā)傳輸。

4通信傳輸壓縮技術(shù)設(shè)計(jì)

數(shù)據(jù)壓縮是一門通信原理和計(jì)算機(jī)科學(xué)都會涉及到的學(xué)科。通過數(shù)據(jù)壓縮技術(shù)縮小傳輸數(shù)據(jù)的體量，降低帶寬的占用，同時減小硬件輸入輸出的壓力。目前我國地震前兆觀測臺網(wǎng)全網(wǎng)3000多套觀測儀器，分布在全國各地，平均每天每套儀器產(chǎn)出原始數(shù)據(jù)按1MB計(jì)算，每天全臺網(wǎng)產(chǎn)出原始數(shù)據(jù)量約3GB，而數(shù)據(jù)采集的時間比較集中，數(shù)據(jù)傳輸?shù)乃矔r流量是當(dāng)前網(wǎng)絡(luò)很難滿足的；同時對數(shù)據(jù)庫和硬盤讀寫能力也將造成較大的壓力。采用數(shù)據(jù)壓縮技術(shù)可同時降低網(wǎng)絡(luò)和輸入輸出壓力。本文針對當(dāng)前前兆數(shù)據(jù)的特點(diǎn)，對所需傳輸?shù)臄?shù)據(jù)信息進(jìn)行二級壓縮，即專業(yè)數(shù)據(jù)壓縮與工具壓縮相結(jié)合，。熵編碼是利用數(shù)據(jù)的統(tǒng)計(jì)信息進(jìn)行壓縮的無語義數(shù)據(jù)流無損編碼，能實(shí)現(xiàn)數(shù)據(jù)的無損壓縮，因此，能保障數(shù)據(jù)壓縮的安全與效率[4]。由于地震前兆觀測地電、地磁、重力、形變和地下流體各學(xué)科數(shù)據(jù)具有非常強(qiáng)的日變規(guī)律，故采用基于統(tǒng)計(jì)的熵編碼是較為理想的選擇，因此，分別采用熵編碼香農(nóng)-范諾（Shannon-Fano）編碼、哈夫曼（Huffman）編碼、算術(shù)編碼（arithmeticcoding）、行程編碼（RLE）和LZW編碼來實(shí)現(xiàn)。然后再對壓縮后的數(shù)據(jù)采用通用壓縮工具ZIP進(jìn)行二次壓縮。應(yīng)用測試實(shí)驗(yàn)結(jié)果顯示，前兆觀測數(shù)據(jù)平均實(shí)現(xiàn)12:1的壓縮比，扣除壓縮、解壓縮的性能遞減，總體提升傳輸性能3倍左右。

5結(jié)束語

本文針對前兆臺網(wǎng)數(shù)據(jù)上云端的需求，結(jié)合當(dāng)前網(wǎng)絡(luò)技術(shù)基礎(chǔ)進(jìn)行了前兆臺網(wǎng)數(shù)據(jù)傳輸方案設(shè)計(jì)，并對其實(shí)現(xiàn)的關(guān)鍵技術(shù)，如設(shè)計(jì)云平臺資源的動態(tài)分配實(shí)現(xiàn)系統(tǒng)資源的負(fù)載均衡管理；針對TCP協(xié)議傳輸速率瓶頸設(shè)計(jì)可靠的UDP傳輸方案，在提高數(shù)據(jù)傳輸效率的同時保證了可靠性；在分析前兆數(shù)據(jù)規(guī)律的基礎(chǔ)上選擇合適的壓縮算法組合，對數(shù)據(jù)實(shí)現(xiàn)了壓縮比高于12:1的無損壓縮，將有助于降低帶寬要求。這3個關(guān)鍵技術(shù)問題的解決，為儀器數(shù)據(jù)與云端的直接對接和地震前兆數(shù)據(jù)管理的扁平化提供了很好的技術(shù)支持，為減少硬件重復(fù)投資和精簡技術(shù)管理人員提供了條件。

參考文獻(xiàn)

［1］陳俊，劉高川，李罡風(fēng)，等.基于Web的地震前兆應(yīng)用數(shù)據(jù)庫管理系統(tǒng)設(shè)計(jì)[J].四川地震，2016(4)：41-45趙飛，葉震.UDP協(xié)議與TCP協(xié)議的對比分析與可靠性改進(jìn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006，16(9)：219-221

［2］王繼剛，顧國昌，徐立峰，等.可靠UDP數(shù)據(jù)傳輸協(xié)議的研究與設(shè)計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2006(15)：113-116

［3］楊敬鋒，張南峰，李勇，等.基于改進(jìn)Huffman編碼的農(nóng)機(jī)作業(yè)數(shù)據(jù)傳輸壓縮方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30(13)：153-159［4］

作者：王晨 陳俊 劉金城 趙銀剛 裴紅云 謝慶 單位：中國地震局地球物理研究所 安徽省地震局 天津市地震局 安丘地震臺