公務(wù)員期刊網(wǎng) 論文中心 正文

信令監(jiān)控系統(tǒng)數(shù)據(jù)存儲檢索功能設(shè)計

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了信令監(jiān)控系統(tǒng)數(shù)據(jù)存儲檢索功能設(shè)計范文,希望能給你帶來靈感和參考,敬請閱讀。

信令監(jiān)控系統(tǒng)數(shù)據(jù)存儲檢索功能設(shè)計

摘要:針對信令數(shù)據(jù)自身的特殊性,在考慮了計算機配置、網(wǎng)絡(luò)速度等硬件因素的情況下,通過建立多級索引結(jié)構(gòu),并借鑒數(shù)據(jù)庫分區(qū)的概念,使用多線程查詢等方式,為信令數(shù)據(jù)存儲和檢索提供一種有效解決方案,可以對監(jiān)控系統(tǒng)的海量信令信息進行組織、存儲,并實現(xiàn)對海量數(shù)據(jù)的快速便捷檢索。此外,它還具有極高的耦合度,易于擴展,能夠與其他系統(tǒng)快速兼容。

關(guān)鍵詞:信令監(jiān)控;封包數(shù)據(jù);數(shù)據(jù)存儲;數(shù)據(jù)檢索

1引言

信令監(jiān)控是實時采集,數(shù)據(jù)在線處理,遠程測試,實時監(jiān)控,數(shù)據(jù)分析以及通信網(wǎng)絡(luò)中信令流程的實時重組和分析的過程[1-2]。信令監(jiān)控系統(tǒng)所要采集和分析的數(shù)據(jù)包括:信令和媒體兩部分[3]。信令監(jiān)控系統(tǒng)可以評估和監(jiān)控信令網(wǎng)絡(luò)的運行狀態(tài),定位和分析故障,并監(jiān)控運營商的服務(wù)質(zhì)量[4-5]。由于網(wǎng)絡(luò)通信過程中將產(chǎn)生海量的信令封包數(shù)據(jù),這些數(shù)據(jù)除了大容量、高速率、高實時性外,它還具有一些特殊性[6-7]。這些特殊性使得簡單的數(shù)據(jù)庫存儲方式[8]不可行。因此,要檢索信令封包數(shù)據(jù),往往需要關(guān)聯(lián)出一個完整的信令流程[9-10],而如何在檢索時準(zhǔn)確并快速地關(guān)聯(lián)一次信令會話中的所有封包,是一個非常關(guān)鍵的問題。本文主要針對網(wǎng)絡(luò)通信時產(chǎn)生的大量信令封包,結(jié)合數(shù)據(jù)的特點,為其存儲和檢索提供一種解決方案。

2信令監(jiān)控系統(tǒng)

信令監(jiān)控系統(tǒng)主要用于IP承載協(xié)議的信令收集,協(xié)議分析,數(shù)據(jù)存儲和數(shù)據(jù)關(guān)聯(lián)分析。在不影響生產(chǎn)效率的情況下,通過將業(yè)務(wù)流程中產(chǎn)生的所有信令碼流采集,提取出各協(xié)議各呼叫相關(guān)信令、相應(yīng)存儲、并對同一呼叫中各協(xié)議的關(guān)聯(lián)進行分析,以便更好的監(jiān)控相應(yīng)業(yè)務(wù)系統(tǒng)的運行。采用松耦合的方式[11]對業(yè)務(wù)平臺進行跟蹤和分析,更有利于以獨立的第三方的視點觀測。信令監(jiān)控系統(tǒng)部署在IP承載網(wǎng)邊界,跟蹤業(yè)務(wù)系統(tǒng)與IP承載網(wǎng)之間的數(shù)據(jù)包,可實現(xiàn)對業(yè)務(wù)系統(tǒng)與其他網(wǎng)元交互的數(shù)據(jù)跟蹤。該系統(tǒng)主要包括以下幾個模塊:核心控制模塊、協(xié)議解析模塊、實時監(jiān)控模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)檢索模塊。信令監(jiān)控系統(tǒng)核心控制模塊收到采集點傳入的信令封包數(shù)據(jù)后,首先傳給協(xié)議解析模塊,對封包進行多層次的協(xié)議解析,將協(xié)議類型以及其他信息返回給核心控制模塊;如果封包在系統(tǒng)監(jiān)控的協(xié)議范圍內(nèi),則接收該封包。接收封包后,如果控制模塊開啟了該協(xié)議的實時監(jiān)控功能,則將封包的關(guān)鍵信息以及原始封包傳入實時監(jiān)控模塊,由監(jiān)控模塊負責(zé)實時寫入文件,用戶使用呈現(xiàn)工具打開該文件即可看到封包信息;如果開啟了該協(xié)議的非實時監(jiān)控功能,則將封包的關(guān)鍵信息以及原始封包傳入數(shù)據(jù)存儲模塊,由該模塊組織封包的存儲。用戶使用非實時查詢功能時,從前臺輸入要查詢的信息,數(shù)據(jù)檢索模塊檢索封包數(shù)據(jù)并返回查詢結(jié)果。

3數(shù)據(jù)存儲功能

數(shù)據(jù)存儲模塊包括了信令數(shù)據(jù)存儲和異常信令數(shù)據(jù)處理??紤]到索引是提高檢索效率的最基本和最有效的方法,通過建立和管理索引數(shù)據(jù)來加速檢索。為了提高索引生成的效率并避免重復(fù)遍歷原始數(shù)據(jù)文件,在數(shù)據(jù)存儲的同時,還生成并存儲了索引數(shù)據(jù)。數(shù)據(jù)存儲功能模塊包含兩個功能,一是信令封包存儲功能:對信令封包進行存儲,保存原始的封包數(shù)據(jù),用于查詢結(jié)果的呈現(xiàn);二是索引數(shù)據(jù)存儲功能:負責(zé)存儲封包的索引數(shù)據(jù),以便快速檢索原始數(shù)據(jù)。

3.1信令封包存儲功能

由于現(xiàn)有網(wǎng)絡(luò)信令包的數(shù)據(jù)量非常大,為了加快文件查詢定位速度,需要對信令數(shù)據(jù)包進行分類存儲,如圖2所示。這樣做不僅使存儲結(jié)構(gòu)清晰,也有利于文件的清理操作,由于系統(tǒng)只存儲一定時間內(nèi)的文件,過期的文件夾下的數(shù)據(jù)被系統(tǒng)定時清理,以釋放存儲空間。還可以根據(jù)不同的用戶需求以及容量等綜合條件對數(shù)據(jù)保留時間進行配置,此外,系統(tǒng)的分區(qū)占用率也可以作為一個限制條件,當(dāng)分區(qū)占用率超過一個臨界值時,最舊的文件,不論其是否超過了規(guī)定的存儲時間,都會被清除。

3.2索引數(shù)據(jù)存儲功能

考慮到現(xiàn)網(wǎng)信令數(shù)據(jù)的流量為每秒百兆的級別,程序借鑒非聚簇索引的方式組織存儲和索引結(jié)構(gòu),即對原始數(shù)據(jù)的順序不進行變動,而是在索引中保存封包所在的位置信息和長度,通過查詢較小的索引文件就可以方便的定位到原始數(shù)據(jù)。數(shù)據(jù)存儲模塊的設(shè)計流程圖,如圖3所示。圖3數(shù)據(jù)存儲流程圖描述了數(shù)據(jù)存儲以及數(shù)據(jù)索引存儲的過程,其中原始數(shù)據(jù)文件中實時記錄了系統(tǒng)收到的封包數(shù)據(jù),索引文件記錄了一級索引,以便于后續(xù)二級索引的生成以及檢索時的定位,寫入的周期為系統(tǒng)可配。模塊收到一個核心模塊傳入的信令封包后,將未經(jīng)處理過的封包數(shù)據(jù)實時地寫入相應(yīng)原始數(shù)據(jù)文件中,同時記錄下封包中的關(guān)鍵信息,保存在索引結(jié)點中,索引結(jié)點暫存在內(nèi)存cache中。以BICC封包為例的索引處理流程圖,如圖4所示。當(dāng)達到系統(tǒng)設(shè)置的檢查周期,即索引文件的寫入時間時,模塊檢查當(dāng)前內(nèi)存中的所有節(jié)點。對于所有臟數(shù)據(jù),如果信令過程完成,即接收到結(jié)束封包RLC消息,則將節(jié)點信息存儲在主索引文件中,并刪除內(nèi)存中的節(jié)點;如果信令過程沒有完成,則將節(jié)點的現(xiàn)有信息存儲在索引文件中,刪除位置信息,并更新節(jié)點狀態(tài)為干凈數(shù)據(jù)。對于異常的封包數(shù)據(jù),如接收信令結(jié)束消息RLC超時的呼叫流程節(jié)點,如果超出容納的錯誤節(jié)點個數(shù)范圍,則寫入臨時文件,后續(xù)檢索時如果查不到信息則可以從臨時文件中查找。

4數(shù)據(jù)檢索功能及實現(xiàn)

數(shù)據(jù)檢索主要是指根據(jù)索引信息進行封包數(shù)據(jù)檢索,即用戶通過輸入可能的過濾條件,如號碼、時間、信令協(xié)議等信息,查詢已經(jīng)捕獲到的信令封包數(shù)據(jù)。模塊通過索引檢索到相關(guān)封包后,將其重新組織成網(wǎng)絡(luò)包分析工具wire-shark[12-13]可識別的文件形式,以便于用戶直觀的了解封包信息,確定信令通訊過程是否存在問題,如圖5所示。用戶可以查看封包數(shù)據(jù)的時間、主被叫以及碼流等詳細信息。為了加快響應(yīng)速度,模塊采用多線程的方式,可同時接收多個用戶的查詢請求,通過啟動不同的線程為用戶提供統(tǒng)一的檢索服務(wù)。為了測試本方案的檢測效率,實驗?zāi)M了一個信令監(jiān)測數(shù)據(jù)檢索系統(tǒng),對其檢測性能進行了測試比較,如圖6所示。橫軸為用戶輸入的查詢時間跨度,縱軸為單次檢索所需時間,P為分文件粒度。從圖中可以看出,分文件粒度越大,單次檢索時間就越短、效率就越高。

5總結(jié)

本文給出了一種對信令監(jiān)控數(shù)據(jù)進行存儲及快速檢索的方案。該方案在數(shù)據(jù)存儲的同時,生成并存儲了索引數(shù)據(jù),通過建立和管理索引數(shù)據(jù)來加快檢索進度,解決了如何對信令監(jiān)控過程中產(chǎn)生的海量數(shù)據(jù)進行高效存儲與快速查詢的問題。

作者:劉皎 曹榮榮 武立 單位:商洛學(xué)院