可視化技術(shù)下的市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了可視化技術(shù)下的市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：為提高機(jī)構(gòu)改革期間市場監(jiān)管部門工作效率，本文提出了一種基于可視化技術(shù)的市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)。系統(tǒng)將源自多個(gè)部門的數(shù)據(jù)進(jìn)行清洗后存入數(shù)據(jù)倉庫，通過J2EE平臺(tái)調(diào)用數(shù)據(jù)分析模型對數(shù)據(jù)進(jìn)行分析，并通過可視化工具以圖、表等形式對結(jié)果進(jìn)行可視化輸出。實(shí)用結(jié)果表明，該系統(tǒng)提供了有效的決策參考，提高了市場監(jiān)管干部的工作效率。

關(guān)鍵詞：大數(shù)據(jù)；可視化；數(shù)據(jù)倉庫；市場監(jiān)管

引言

運(yùn)用大數(shù)據(jù)技術(shù)來加強(qiáng)對市場主體的服務(wù)和監(jiān)管，是促進(jìn)政府職能轉(zhuǎn)變、簡政放權(quán)和優(yōu)化服務(wù)的有效手段，也是近年來的發(fā)展趨勢[1]。國務(wù)院辦公廳的《國務(wù)院辦公廳關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對市場主體服務(wù)和監(jiān)管的若干意見》中要求，各級(jí)政府部門都要充分認(rèn)識(shí)運(yùn)用大數(shù)據(jù)技術(shù)加強(qiáng)對市場主體服務(wù)和監(jiān)管的重要性，通過運(yùn)用大數(shù)據(jù)技術(shù)來提高對市場主體的服務(wù)水平、加強(qiáng)和改進(jìn)新形勢下的市場監(jiān)管能力，并以此為動(dòng)力推進(jìn)政府和社會(huì)信息資源的開放和共享，提高政府部門運(yùn)用大數(shù)據(jù)技術(shù)的水平。為了進(jìn)一步加強(qiáng)和改進(jìn)市場監(jiān)管方法，提升市場監(jiān)管部門的市場主體服務(wù)能力，順應(yīng)大數(shù)據(jù)時(shí)代潮流，運(yùn)用大數(shù)據(jù)技術(shù)加強(qiáng)對市場主體的服務(wù)和監(jiān)管，促進(jìn)政府職能轉(zhuǎn)變，做好簡政放權(quán)和優(yōu)化服務(wù)，在現(xiàn)有軟硬件資源的基礎(chǔ)上，整合原工商、質(zhì)監(jiān)、食藥監(jiān)、物價(jià)、知識(shí)產(chǎn)權(quán)等相關(guān)部門各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，建設(shè)基于可視化技術(shù)的市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)。基于可視化技術(shù)的市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)由數(shù)據(jù)倉庫、大數(shù)據(jù)分析軟件及相關(guān)軟硬件設(shè)備組成。

1系統(tǒng)架構(gòu)

系統(tǒng)采用松耦合、高聚合、多層次和面向服務(wù)的體系結(jié)構(gòu)，堅(jiān)持功能實(shí)用、接口規(guī)范和高響應(yīng)時(shí)效的原則，采用J2EE架構(gòu)和多服務(wù)器、虛擬化和集群化的部署方式。支持Oracle、mysql、SqlServer、DB2等主流數(shù)據(jù)庫，支持Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)。采用了兼容性較好的B/S模式，并結(jié)合當(dāng)前科技創(chuàng)新工作的要求，支持Linux系統(tǒng)客戶端下的火狐、谷歌等主流瀏覽器。系統(tǒng)的基本架構(gòu)如圖1所示。系統(tǒng)的數(shù)據(jù)源來自原工商、質(zhì)監(jiān)、食藥監(jiān)、物價(jià)、知識(shí)產(chǎn)權(quán)等多個(gè)部門不同廠家、不同版本的業(yè)務(wù)軟件，經(jīng)過數(shù)據(jù)清洗模塊對各部門的數(shù)據(jù)進(jìn)行整理、清洗，存入數(shù)據(jù)倉庫。J2EE平臺(tái)調(diào)用數(shù)據(jù)分析模型接口對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行分析，并通過可視化工具以圖、表等形式對結(jié)果進(jìn)行可視化輸出。

2數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)源所在的數(shù)據(jù)產(chǎn)生部門、數(shù)據(jù)庫廠商和版本各不相同，數(shù)據(jù)庫中表結(jié)構(gòu)的差異較大，必須先對從各數(shù)據(jù)源中抽取的數(shù)據(jù)進(jìn)行預(yù)處理，將清洗整理過的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉庫中，才能把數(shù)據(jù)完整、有效地提供給數(shù)據(jù)分析模塊進(jìn)行分析，并對分析產(chǎn)生的結(jié)果進(jìn)行可視化輸出。

2.1源數(shù)據(jù)抽取針對多部門不同的數(shù)據(jù)庫系統(tǒng)，都開發(fā)了相應(yīng)的數(shù)據(jù)庫接口進(jìn)行數(shù)據(jù)抽取，對于未采用數(shù)據(jù)庫進(jìn)行存儲(chǔ)的數(shù)據(jù)，則通過從軟件用戶端界面手動(dòng)導(dǎo)入的方法進(jìn)行抽取。抽取到的源數(shù)據(jù)保存在前置數(shù)據(jù)庫中。前置數(shù)據(jù)庫提供了自定義表結(jié)構(gòu)功能，用戶可通過數(shù)據(jù)導(dǎo)入模塊自行定義表結(jié)構(gòu)和數(shù)據(jù)表中的字段屬性，以便靈活導(dǎo)入未經(jīng)過事先定義的數(shù)據(jù)。以市場監(jiān)管工作中的反不正當(dāng)競爭監(jiān)管數(shù)據(jù)為例，通過數(shù)據(jù)抽取模塊將行政執(zhí)法的基本數(shù)據(jù)（案件號(hào)，案件名稱，當(dāng)事人，案值，處罰金額，立案時(shí)間等）導(dǎo)入系統(tǒng)后，系統(tǒng)將數(shù)據(jù)自動(dòng)轉(zhuǎn)化并存儲(chǔ)至前置庫的數(shù)據(jù)表中，數(shù)據(jù)表中相關(guān)字段的屬性自動(dòng)根據(jù)導(dǎo)入的字段類型進(jìn)行判斷，若表中部分字段內(nèi)容缺失，系統(tǒng)先以默認(rèn)值填充，待數(shù)據(jù)清洗時(shí)進(jìn)一步處理。前置庫中的行政執(zhí)法信息數(shù)據(jù)如表1所示。

2.2數(shù)據(jù)清洗

數(shù)據(jù)清洗是對前置庫中的數(shù)據(jù)進(jìn)行校驗(yàn)和審查的過程[2]。數(shù)據(jù)清洗的目的是刪除前置庫中的重復(fù)信息、糾正錯(cuò)誤數(shù)據(jù)，并將字段值的單位進(jìn)行統(tǒng)一[3-6]。來自各部門的歷史數(shù)據(jù)往往存在數(shù)據(jù)重復(fù)、無效值、空值等實(shí)際情況，需要對其進(jìn)行數(shù)據(jù)清洗后再存儲(chǔ)到數(shù)據(jù)倉庫中以供進(jìn)一步分析展示使用。對源數(shù)據(jù)的數(shù)據(jù)清洗主要采用以下方法進(jìn)行。對源數(shù)據(jù)中屬性值均相等的數(shù)據(jù)視為重復(fù)信息，將其進(jìn)行合并處理，只保留一條重復(fù)的數(shù)據(jù)。對源數(shù)據(jù)中的存在空值的不完整信息，若某個(gè)屬性存在的空值過多，且該屬性對所展示的問題不是特別重要，則刪除該屬性；若該屬性僅存在少量空值，則判斷該屬性與其它屬性間的相關(guān)性，存在相關(guān)性的根據(jù)其他屬性的值和相關(guān)規(guī)則推測該屬性的值，無法推測的保留空值。若處理后的某條數(shù)據(jù)存在的空值仍然過多，則將此條數(shù)據(jù)刪除，否則保留此條數(shù)據(jù)并保留空值。對源數(shù)據(jù)中日期等格式不規(guī)范的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，將不同的數(shù)據(jù)格式轉(zhuǎn)換成統(tǒng)一格式。清洗后的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉庫中，供數(shù)據(jù)分析模型和可視化工具讀取并產(chǎn)生可視化分析結(jié)果。

3基于可視化技術(shù)的大數(shù)據(jù)分析系統(tǒng)

利用數(shù)據(jù)可視化工具，開發(fā)市場監(jiān)管大數(shù)據(jù)可視化平臺(tái)，將處理過的市場監(jiān)管數(shù)據(jù)以多種類型的圖、表等形式直觀地展現(xiàn)出來，并對展現(xiàn)出來的信息進(jìn)行標(biāo)注、解析、匯總和分析，系統(tǒng)能直觀的顯示出市場主體的基本概況、發(fā)展趨勢、風(fēng)險(xiǎn)預(yù)警等信息。

3.1數(shù)據(jù)可視化技術(shù)

數(shù)據(jù)可視化技術(shù)是通過算法和工具對多維的信息空間進(jìn)行定量的處理和計(jì)算，將大型數(shù)據(jù)集中的數(shù)據(jù)處理后以圖形圖像形式表示出來，從而將數(shù)據(jù)中隱藏的信息直觀地展現(xiàn)給用戶[7-9]。目前數(shù)據(jù)可視化技術(shù)已經(jīng)提出了多種方法，根據(jù)原理的不同可以劃分為面向像素的技術(shù)、基于幾何的技術(shù)、基于圖像的技術(shù)、基于圖標(biāo)的技術(shù)、基于層次的技術(shù)和分布式技術(shù)等[10-12]。

3.2市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)

市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)運(yùn)用大數(shù)據(jù)技術(shù)來提高市場監(jiān)管部門的公共服務(wù)能力，對市場主體事中后監(jiān)管數(shù)據(jù)進(jìn)行高效的采集和整合。系統(tǒng)利用市場監(jiān)管大數(shù)據(jù)，制定規(guī)范了市場監(jiān)管大數(shù)據(jù)標(biāo)準(zhǔn)體系，將大數(shù)據(jù)分析結(jié)果作為提高市場監(jiān)管治理能力重要手段，不斷提高服務(wù)和監(jiān)管的針對性和有效性。市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)主要包括數(shù)據(jù)倉庫平臺(tái)及分析展示平臺(tái)兩大部分。數(shù)據(jù)倉庫平臺(tái)將原有各單位業(yè)務(wù)軟件中的數(shù)據(jù)進(jìn)行抽取，進(jìn)行清洗及格式轉(zhuǎn)換后存儲(chǔ)在數(shù)據(jù)倉庫中；大數(shù)據(jù)分析展示平臺(tái)將數(shù)據(jù)倉庫中的數(shù)據(jù)通過建模，以可視化的方式將結(jié)果展示給市場監(jiān)管人員，提高市場監(jiān)管部門的公共服務(wù)能力和事中事后監(jiān)管水平。數(shù)據(jù)分析平臺(tái)包括綜合查詢、業(yè)務(wù)分析、風(fēng)險(xiǎn)預(yù)警、決策支持、綜合分析等主要功能模塊及年報(bào)監(jiān)控、統(tǒng)計(jì)報(bào)表等輔助功能模塊。系統(tǒng)的主要功能模塊如圖2所示。其中，大數(shù)據(jù)分析工具主要采用集成了報(bào)表引擎、全文檢索引擎、多維分析引擎、數(shù)據(jù)挖掘引擎及數(shù)據(jù)可視化組件中的BI工具實(shí)現(xiàn)。通過數(shù)據(jù)可視化BI組件，為用戶提供應(yīng)用層各功能模塊的分析結(jié)果可視化輸出，實(shí)現(xiàn)了市場主體分析的GIS熱力圖、放射性樹狀圖、標(biāo)簽云等各類圖形和報(bào)表輸出等功能。

4系統(tǒng)實(shí)用效果

市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)通過對數(shù)據(jù)倉庫中登記注冊、信用監(jiān)督、特種設(shè)備、食品藥品安全、知識(shí)產(chǎn)權(quán)等幾大數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抽取、清洗等預(yù)處理，將預(yù)處理后的數(shù)據(jù)進(jìn)行挖掘分析，并對結(jié)果以圖、表等可視化方式輸出，效果簡潔直觀。市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)的每個(gè)模塊根據(jù)業(yè)務(wù)種類劃分子模塊，每個(gè)子模塊均支持多種方式的可視化輸出，為市場監(jiān)管人員提供決策支持。系統(tǒng)可對各類數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)，形成特定的圖表，可通過自定義條件對分析數(shù)據(jù)進(jìn)行篩選，點(diǎn)擊圖表上的相關(guān)內(nèi)容可向下一級(jí)進(jìn)行鉆取，查看下一級(jí)的分析圖表。圖3是上年各月度行政執(zhí)法立案和處罰數(shù)趨勢圖。由圖3中可以看出，上一年第二季度的行政執(zhí)法立案數(shù)和處罰數(shù)較多；前三季度行政執(zhí)法立案數(shù)和處罰數(shù)基本呈現(xiàn)正相關(guān)聯(lián)系，而第四季度由于市場監(jiān)管政策變化，行政執(zhí)法處罰數(shù)出現(xiàn)明顯下降；2月份由于傳統(tǒng)假期，行政執(zhí)法立案數(shù)和處罰數(shù)都明顯較少。圖4是市場主體分布情況的GIS熱力圖顯示，根據(jù)市場主體的分布密度不同顯示出不同的顏色。市場主體的分布密度越大，GIS熱力圖中的顏色就越深，市場主體分布密度小的區(qū)域顏色越淺。由圖4可以看出，濱湖區(qū)和新吳區(qū)的市場主體分布密度較大，主要原因是這兩個(gè)區(qū)的高新科技產(chǎn)業(yè)園較多，市場主體主要集中在產(chǎn)業(yè)園及其周邊；對郊區(qū)而言，工業(yè)集中區(qū)及其周邊的顏色較深，傳統(tǒng)農(nóng)業(yè)鄉(xiāng)鎮(zhèn)的熱力圖顏色較淺，結(jié)果符合該市城鄉(xiāng)發(fā)展的實(shí)際情況。

5結(jié)束語

隨著市場監(jiān)管部門機(jī)構(gòu)改革的推進(jìn)，如何將分屬多個(gè)部門多個(gè)系統(tǒng)的數(shù)據(jù)有效整合并分析運(yùn)用成為急需解決的問題。通過基于數(shù)據(jù)可視化技術(shù)的市場監(jiān)管大數(shù)據(jù)分析系統(tǒng)，將松散的數(shù)據(jù)進(jìn)行整合和清洗，并進(jìn)行有效的分析和可視化輸出。經(jīng)過市場監(jiān)管部門的實(shí)際使用，系統(tǒng)中的綜合查詢、業(yè)務(wù)分析、風(fēng)險(xiǎn)預(yù)警、決策支持等功能模塊有效提高了市場監(jiān)管干部的工作效率，為新時(shí)期的市場監(jiān)管工作提供了直觀的決策參考。

參考文獻(xiàn)：

[1]張維維.基于大數(shù)據(jù)的市場主體監(jiān)管體系建設(shè)[J].信息技術(shù),2016(5):187-190.

[2]李蕾.大數(shù)據(jù)環(huán)境下相似重復(fù)記錄數(shù)據(jù)清洗關(guān)鍵技術(shù)研究[D].南京:南京郵電大學(xué),2019.

[5]蔡鐘杰,雷斌,張偉.關(guān)于重復(fù)記錄數(shù)據(jù)清理算法研究[J].信息技術(shù)與信息化,2013(4):32-34+40.

[6]張荃,陳暉.基于最小哈希的重復(fù)數(shù)據(jù)清洗方法[J].通信技術(shù),2019,52(11):2653-2658.

[7]徐永順.基于意象圖式的多域異構(gòu)數(shù)據(jù)可視化設(shè)計(jì)研究[D].無錫:江南大學(xué),2019.

[8]李明灝,潘剛.博物館館藏文物數(shù)據(jù)可視化分析[J].計(jì)算機(jī)與數(shù)字工程,2019,47(11):2850-2855.

[9]李磊,魯興河,康警予,等.一種基于知識(shí)圖譜的數(shù)據(jù)檢索與可視化方法[J].計(jì)算機(jī)與網(wǎng)絡(luò),2020,46(5):61-64.

[10]梅鴻輝,陳海東,肇昕,等.一種全球尺度三維大氣數(shù)據(jù)可視化系統(tǒng)[J].軟件學(xué)報(bào),2016,27(5):1140-1150.

[11]曾悠.大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)可視化概念研究[D].杭州:浙江大學(xué),2014.

[12]何兆成,周亞強(qiáng),余志.基于數(shù)據(jù)可視化的區(qū)域交通狀態(tài)特征評價(jià)方法[J].交通運(yùn)輸工程學(xué)報(bào),2016,16(1):133-140.

作者：羊斌 寧麗 單位：無錫市市場監(jiān)督管理局