公務(wù)員期刊網(wǎng) 論文中心 正文

談農(nóng)業(yè)信息資源共享交互平臺需求

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了談農(nóng)業(yè)信息資源共享交互平臺需求范文,希望能給你帶來靈感和參考,敬請閱讀。

談農(nóng)業(yè)信息資源共享交互平臺需求

摘要:信息化時代,農(nóng)業(yè)數(shù)據(jù)繁多,覆蓋面廣泛,信息資源共享整合建設(shè)尤為重要。本文從業(yè)務(wù)流程、功能需求、性能需求3方面對農(nóng)業(yè)信息資源共享交互平臺需求進(jìn)行詳細(xì)分析。

關(guān)鍵詞:農(nóng)業(yè)信息化;農(nóng)業(yè)大數(shù)據(jù);數(shù)據(jù)治理

為深入貫徹落實國務(wù)院、江蘇省、常州市關(guān)于促進(jìn)政務(wù)信息資源共享整合建設(shè)的要求,按照常州市2019年政府電子政務(wù)工作要點的要求,從深入推進(jìn)“一網(wǎng)通辦”、“智慧城市”、“數(shù)據(jù)共享”、“平臺優(yōu)化”和“智造產(chǎn)業(yè)”5大行動出發(fā)的指示精神,常州市將推進(jìn)農(nóng)業(yè)信息資源共享交互平臺項目建設(shè),以進(jìn)一步規(guī)范全市政務(wù)信息資源管理工作,將信息資源共享在深化改革、轉(zhuǎn)變職能及創(chuàng)新管理等方面全面滲透和應(yīng)用,從而提升政務(wù)服務(wù)水平及行政效能。本文結(jié)合常州市農(nóng)業(yè)信息化當(dāng)前的實際情況,介紹了一種農(nóng)業(yè)信息資源共享交互平臺,并對該平臺的業(yè)務(wù)流程、功能和性能需求進(jìn)行分析。

1業(yè)務(wù)流程分析

1.1數(shù)據(jù)交換共享流程

目前,常州市涉農(nóng)數(shù)據(jù)資源交換共享方式主要是人工報送的Excel、Word等格式數(shù)據(jù)文件,沒有明確的流程。通過建設(shè)常州市農(nóng)業(yè)信息資源共享交互平臺農(nóng)業(yè)數(shù)據(jù)共享交換系統(tǒng),可對全市涉農(nóng)數(shù)據(jù)資源的共享交換進(jìn)行規(guī)劃,建立標(biāo)準(zhǔn)規(guī)范,優(yōu)化共享流程。本項目涉及2類數(shù)據(jù)交換共享,包括市局內(nèi)部現(xiàn)有信息系統(tǒng)之間的數(shù)據(jù)共享交換以及市局與外部相關(guān)單位之間的數(shù)據(jù)共享交換。數(shù)據(jù)共享交換流程涉及數(shù)據(jù)資源訂閱方、數(shù)據(jù)資源管理方、數(shù)據(jù)資源提供方3類用戶角色,具體流程如圖1所示。

1.2數(shù)據(jù)治理流程

通過數(shù)據(jù)交換共享方式匯聚的數(shù)據(jù)資源,需要經(jīng)過數(shù)據(jù)治理,經(jīng)過數(shù)據(jù)抽取、驗證、清洗、集成、聚集、裝載,將數(shù)據(jù)源轉(zhuǎn)化為數(shù)據(jù)倉庫需要的格式。數(shù)據(jù)加工處理工作由數(shù)據(jù)服務(wù)平臺自動完成,同時由用戶進(jìn)行人為監(jiān)控。數(shù)據(jù)治理流程如圖2所示。

1.2.1數(shù)據(jù)抽取從數(shù)據(jù)源抽取涉農(nóng)數(shù)據(jù)資源。數(shù)據(jù)源可以是通過業(yè)務(wù)平臺數(shù)據(jù)匯聚形成的數(shù)據(jù)資源庫,也可以是通過數(shù)據(jù)交換共享平臺獲取的涉農(nóng)數(shù)據(jù)資源(市局內(nèi)部和外部數(shù)據(jù))。數(shù)據(jù)抽取包括增量抽取、增量加載及批量裝載,可依據(jù)時間戳自動判斷抽取增量數(shù)據(jù)。

1.2.2數(shù)據(jù)清洗通常情況抽取的數(shù)據(jù)資源中包含冗余數(shù)據(jù)、垃圾數(shù)據(jù)。數(shù)據(jù)在邏輯上沖突和數(shù)據(jù)定義沖突等問題十分常見,因此需要對數(shù)據(jù)資源進(jìn)行清洗,發(fā)現(xiàn)殘缺數(shù)據(jù)、錯誤數(shù)據(jù)、重復(fù)數(shù)據(jù),在信息資源庫進(jìn)行數(shù)據(jù)補錄、關(guān)聯(lián)、去除,導(dǎo)入到數(shù)據(jù)倉庫中。

1.2.3數(shù)據(jù)轉(zhuǎn)換清洗之后的涉農(nóng)數(shù)據(jù)資源需要轉(zhuǎn)換為數(shù)據(jù)倉庫的格式。

1.2.4數(shù)據(jù)裝載經(jīng)過格式轉(zhuǎn)換的涉農(nóng)數(shù)據(jù)資源需要裝載到數(shù)據(jù)倉庫,為數(shù)據(jù)建模和主題分析做準(zhǔn)備。

1.3數(shù)據(jù)分析應(yīng)用流程

數(shù)據(jù)分析應(yīng)用不僅能夠?qū)?jīng)過加工處理后的涉農(nóng)數(shù)據(jù)資源進(jìn)行挖掘分析,還可以對信息資源目錄、元數(shù)據(jù)、主數(shù)據(jù)進(jìn)行管理?,F(xiàn)以信息資源目錄管理和數(shù)據(jù)分析應(yīng)用流程為例進(jìn)行闡述。

1.3.1信息資源目錄管理經(jīng)過梳理之后的涉農(nóng)信息資源目錄可為數(shù)據(jù)資源相關(guān)單位提供信息資源目錄使用、查詢等服務(wù)。數(shù)據(jù)資源相關(guān)單位可根據(jù)自身業(yè)務(wù)發(fā)展變化情況,利用需要更新信息資源目錄,由數(shù)據(jù)資源管理方審核確認(rèn)后,不斷完善并形成可持續(xù)發(fā)展的全市涉農(nóng)信息資源目錄體系(圖3)。

1.3.2主題分析應(yīng)用主題分析應(yīng)用以采集數(shù)據(jù)和共享交換數(shù)據(jù)為基礎(chǔ),通過匯聚存儲于數(shù)據(jù)緩沖區(qū),經(jīng)過數(shù)據(jù)的ETL處理過程,包括數(shù)據(jù)抽取、驗證、清洗、轉(zhuǎn)換、裝載等,按照面向主題的方式存入數(shù)據(jù)中心(ODS),提供常規(guī)的數(shù)據(jù)查詢統(tǒng)計分析。給予數(shù)據(jù)中心,經(jīng)過ETL處理可建立面向農(nóng)業(yè)、種植信息、畜牧養(yǎng)殖信息、測土配方施肥與土壤墑情、土地流轉(zhuǎn)信息、農(nóng)作物種類產(chǎn)量等不同(可進(jìn)一步細(xì)分)的主題數(shù)據(jù)庫,建立多維數(shù)據(jù)分析模型,為主題分析提供支持。在此基礎(chǔ)上,通過理論(業(yè)務(wù))模型的建立,包括播種態(tài)勢模型、產(chǎn)量預(yù)測模型、農(nóng)產(chǎn)品質(zhì)量安全模型等,提供預(yù)測預(yù)警與決策指導(dǎo)等服務(wù)。主題分析應(yīng)用流程如圖4所示。

2功能需求分析

2.1數(shù)據(jù)交換共享

業(yè)務(wù)數(shù)據(jù)資源的采集,在本次項目建設(shè)中,數(shù)據(jù)交換共享是最重要的采集方式。通過平臺的建設(shè),可梳理出農(nóng)口的統(tǒng)一數(shù)據(jù)共享交換標(biāo)準(zhǔn)和接口規(guī)范,并建立為平臺與外部系統(tǒng)之間的數(shù)據(jù)共享提供指南和標(biāo)準(zhǔn),市局與外部單位之間通過建立數(shù)據(jù)交換共享機制實現(xiàn)涉農(nóng)數(shù)據(jù)資源的共享匯聚利用。

2.2數(shù)據(jù)加工處理

由于涉農(nóng)數(shù)據(jù)資源一部分來自數(shù)據(jù)報送人員在線直報和自動采集,另一部分來源于市局現(xiàn)有信息系統(tǒng)和外部單位信息系統(tǒng),數(shù)據(jù)格式、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類別、數(shù)據(jù)標(biāo)識等經(jīng)常不一致,因此需要進(jìn)一步對源頭數(shù)據(jù)進(jìn)行加工處理。

2.3數(shù)據(jù)分析應(yīng)用

建設(shè)數(shù)據(jù)共享交換系統(tǒng)將涉農(nóng)數(shù)據(jù)匯聚之后,最為核心的工作是對數(shù)據(jù)進(jìn)行挖掘分析應(yīng)用。通過大數(shù)據(jù)分析手段挖掘掩藏在涉農(nóng)數(shù)據(jù)資源表面的業(yè)務(wù)特點、規(guī)律,實現(xiàn)對農(nóng)業(yè)農(nóng)村工作的決策支持,提供數(shù)據(jù)監(jiān)測、分析、預(yù)警、預(yù)測等服務(wù)。

2.4數(shù)據(jù)展現(xiàn)

通過一系列數(shù)據(jù)可視化展示方式將基礎(chǔ)數(shù)據(jù)資源和分析數(shù)據(jù)資源直觀地呈現(xiàn)給各級領(lǐng)導(dǎo)和各級工作人員,并定期提供數(shù)據(jù)分析報告全景展示常州市現(xiàn)代農(nóng)業(yè)發(fā)展趨勢和狀況,滿足用數(shù)據(jù)說話、用數(shù)據(jù)管理和用數(shù)據(jù)決策的工作需要。通過建設(shè)專題決策支撐系統(tǒng),實現(xiàn)對全市農(nóng)產(chǎn)品質(zhì)量安全等專題數(shù)據(jù)的綜合展示和相關(guān)工作的統(tǒng)一指揮調(diào)度。

3性能需求分析

3.1訪問速度方面

頁面打開速度小于3s,簡單類查詢速度小于3s,復(fù)雜類查詢分析速度小于8s。

3.2穩(wěn)定性方面

在利用本平臺正常工作中,不應(yīng)出現(xiàn)妨礙工作順利進(jìn)行的系統(tǒng)錯誤或意外中止的情況。

3.3資源利用方面

在進(jìn)行海量數(shù)據(jù)的查詢、統(tǒng)計、分析的過程中,允許CPU和內(nèi)存的占用率提升及網(wǎng)絡(luò)帶寬占有量的加大,但在操作結(jié)束后,應(yīng)該及時釋放所占用的資源,以保證工作人員利用電腦順利進(jìn)行其它工作。

3.4系統(tǒng)處理能力方面

系統(tǒng)的用戶較多,所以對系統(tǒng)的并發(fā)處理能力要求較高;支持?jǐn)?shù)據(jù)采集應(yīng)用并發(fā)數(shù)100,最長響應(yīng)時間3s。

3.5使用靈活性方面

當(dāng)系統(tǒng)與其它軟件的接口發(fā)生變化,用戶的操作方式、運行環(huán)境、對信息獲取方式以及對期望獲取的信息結(jié)果發(fā)生變化時,軟件系統(tǒng)要做到易于調(diào)整,擁有高度的靈活性。

4信息量分析和預(yù)測

4.1農(nóng)業(yè)數(shù)據(jù)量分析與預(yù)測

本項目農(nóng)業(yè)信息資源交互平臺建設(shè)的信息資源數(shù)據(jù),包括了市縣農(nóng)業(yè)農(nóng)村局現(xiàn)有數(shù)據(jù)(如農(nóng)產(chǎn)品質(zhì)量監(jiān)管、農(nóng)產(chǎn)品質(zhì)量追溯、動監(jiān)所執(zhí)法、三農(nóng)項目管理等)、部省相關(guān)數(shù)據(jù)(如三品一標(biāo)、農(nóng)業(yè)投入品等)、政府部門相關(guān)數(shù)據(jù)(如氣象、環(huán)境、工商、防汛等)、機構(gòu)改革后農(nóng)辦發(fā)改財政部門相關(guān)數(shù)據(jù)、其它下一步收集的數(shù)據(jù)(如休閑觀光客源、土壤質(zhì)地、森林植被等),總計占用存儲空間約20TB(其中,關(guān)系型數(shù)據(jù)約5TB,非結(jié)構(gòu)化數(shù)據(jù)約15TB)。

4.2查詢頻度分析

查詢頻度與支持的系統(tǒng)數(shù)量、用戶數(shù)量、系統(tǒng)建設(shè)情況有關(guān)。建設(shè)初期,由于訪問系統(tǒng)的用戶數(shù)和基于平臺建設(shè)的系統(tǒng)少,查詢用戶少,訪問頻度較低。但隨著信息系統(tǒng)建設(shè)的不斷發(fā)展,信息內(nèi)容的不斷豐富和支持的應(yīng)用系統(tǒng)增加,用戶數(shù)也會不斷攀升,系統(tǒng)訪問頻度將急劇增加。以常州市農(nóng)業(yè)農(nóng)村局農(nóng)產(chǎn)品質(zhì)量安全監(jiān)管平臺為例,目前用戶數(shù)近1000人。平時有200個用戶在線使用平臺,通常用戶并發(fā)數(shù)50個左右,高峰時并發(fā)用戶數(shù)100個左右。

4.3數(shù)據(jù)流量分析與預(yù)測

本系統(tǒng)在B/S訪問時,由于業(yè)務(wù)的要求需要傳輸視頻圖像或文件,每個訪問點的傳輸速率至少保證5Mbps。

參考文獻(xiàn)

[1]王文生,郭雷風(fēng).農(nóng)業(yè)大數(shù)據(jù)及其應(yīng)用展望[J].江蘇農(nóng)業(yè)科學(xué),2015,43(09):1-5.

[2]孟祥寶,謝秋波,劉海峰,等.農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺建設(shè)[J].廣東農(nóng)業(yè)科學(xué),2014,41(14):173-178.

[3]溫孚江.農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意義與協(xié)同機制[J].高等農(nóng)業(yè)教育,2013(11):3-6.

[4]亓開元,趙卓峰,房俊,等.針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法[J].計算機學(xué)報,2012,35(03):477-490.

[5]方艾,徐雄,梁冰,等.主流大數(shù)據(jù)處理開源架構(gòu)的分析及對比評測[J].電信科學(xué),2015,31(07):152-157.

[6]李貞強,陳康,武永衛(wèi),等.大數(shù)據(jù)處理模式———系統(tǒng)結(jié)構(gòu),方法以及發(fā)展趨勢[J].小型微型計算機系統(tǒng),2015,36(04):641-647.

作者:薛彩霞 單位:常州大學(xué)