公務(wù)員期刊網(wǎng) 論文中心 正文

大數(shù)據(jù)技術(shù)在石油企業(yè)經(jīng)營管理的應(yīng)用

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了大數(shù)據(jù)技術(shù)在石油企業(yè)經(jīng)營管理的應(yīng)用范文,希望能給你帶來靈感和參考,敬請閱讀。

大數(shù)據(jù)技術(shù)在石油企業(yè)經(jīng)營管理的應(yīng)用

0引言

隨著石油石化企業(yè)自動化與信息化建設(shè)的不斷發(fā)展,以SCADA(SupervisoryControlAndDataAcquisition,數(shù)據(jù)采集與監(jiān)控系統(tǒng))系統(tǒng)為代表的自控系統(tǒng)和以ERP(EnterpriseResourcePlanning,企業(yè)資源計(jì)劃)系統(tǒng)為代表的信息系統(tǒng)得到廣泛應(yīng)用。這些系統(tǒng)的建立和應(yīng)用將企業(yè)從上游勘探、開發(fā)到下游煉化、銷售所產(chǎn)生的大量生產(chǎn)數(shù)據(jù)和管理數(shù)據(jù)積累起來,但是,這些海量數(shù)據(jù)獨(dú)立存在于各信息系統(tǒng)和數(shù)據(jù)庫之中,并沒有得到很好的共享和銜接,數(shù)據(jù)分析和利用也存在不足,而且一些具有潛在價(jià)值的外部信息尚未被充分采集和綜合利用,越來越不適應(yīng)石油石化企業(yè)上下游統(tǒng)籌協(xié)調(diào)發(fā)展、快速有效應(yīng)對市場變化的業(yè)務(wù)需要。大數(shù)據(jù)技術(shù)是讓花費(fèi)巨大人力、物力和財(cái)力獲得的數(shù)據(jù)充分燃燒,讓數(shù)據(jù)發(fā)音,讓數(shù)據(jù)說話[1]。將大數(shù)據(jù)技術(shù)應(yīng)用到石油石化企業(yè)的生產(chǎn)經(jīng)營環(huán)節(jié),充分利用自控系統(tǒng)和信息系統(tǒng)獲取到的數(shù)據(jù),對現(xiàn)有未開發(fā)或未利用的數(shù)據(jù)資產(chǎn)重新認(rèn)識,從大數(shù)據(jù)資源中不斷挖掘更多的規(guī)律和趨勢,協(xié)助企業(yè)進(jìn)行生產(chǎn)經(jīng)營決策分析,指導(dǎo)生產(chǎn)經(jīng)營策略適時(shí)調(diào)整,對提高企業(yè)的核心競爭力和提升效益具有重要作用。

1典型項(xiàng)目效果分析

1.1生產(chǎn)經(jīng)營數(shù)據(jù)類別

綜合數(shù)據(jù)類型和數(shù)據(jù)來源,石油石化企業(yè)的生產(chǎn)經(jīng)營數(shù)據(jù)主要分為宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、價(jià)格數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)和成果數(shù)據(jù)6大類。

1.2生產(chǎn)經(jīng)營數(shù)據(jù)特點(diǎn)

生產(chǎn)經(jīng)營數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)來源多、數(shù)據(jù)結(jié)構(gòu)復(fù)雜的特點(diǎn),與大數(shù)據(jù)概念相符。

1)數(shù)據(jù)量大

石油石化企業(yè)長期從事勘探開發(fā)、煉油化工、油氣儲運(yùn)和銷售等業(yè)務(wù),屬于數(shù)據(jù)密集型行業(yè),歷史上已經(jīng)累積了海量的生產(chǎn)數(shù)據(jù),并隨著時(shí)間的推移繼續(xù)呈指數(shù)級增長。同時(shí),隨著實(shí)時(shí)監(jiān)測系統(tǒng)的大量應(yīng)用,數(shù)據(jù)生成的顆粒度和維度不斷精細(xì)化;而隨著一些計(jì)劃信息系統(tǒng)和優(yōu)化系統(tǒng)的應(yīng)用,又將不斷產(chǎn)生著大量的管理類數(shù)據(jù),加之移動互聯(lián)網(wǎng)絡(luò)、智能終端的廣泛普及,生產(chǎn)經(jīng)營數(shù)據(jù)的體量在不斷擴(kuò)展。

2)數(shù)據(jù)來源多

石油石化企業(yè)規(guī)模體量大、業(yè)務(wù)鏈條長,這決定了其生產(chǎn)經(jīng)營數(shù)據(jù)來源較多:既有來源于企業(yè)內(nèi)部眾多信息系統(tǒng)的海量經(jīng)營和財(cái)務(wù)等數(shù)據(jù),又有來源于外部網(wǎng)站或系統(tǒng)的行業(yè)相關(guān)數(shù)據(jù),還有企業(yè)眾多管理部門在日常業(yè)務(wù)過程中形成的各類數(shù)據(jù)。如何打破這些數(shù)據(jù)源在行政和管理上的壁壘,實(shí)現(xiàn)高效集成,是大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中有效應(yīng)用的關(guān)鍵。

3)數(shù)據(jù)結(jié)構(gòu)復(fù)雜

生產(chǎn)經(jīng)營數(shù)據(jù)涉及的數(shù)據(jù)結(jié)構(gòu)復(fù)雜:既有來源于企業(yè)已建信息系統(tǒng)的標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù),又有來源于日常業(yè)務(wù)過程的電子表格、報(bào)告、成果文檔等半結(jié)構(gòu)化數(shù)據(jù),以及來源于企業(yè)內(nèi)外部和互聯(lián)網(wǎng)的一些非結(jié)構(gòu)化數(shù)據(jù)。

1.3數(shù)據(jù)管理現(xiàn)狀

1)對生產(chǎn)經(jīng)營數(shù)據(jù)的管理手段有待提升

隨著時(shí)間推移,生產(chǎn)經(jīng)營數(shù)據(jù)呈現(xiàn)數(shù)據(jù)量龐大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)來源多的特點(diǎn),石油石化企業(yè)傳統(tǒng)的數(shù)據(jù)庫存儲能力和計(jì)算能力已難以應(yīng)對體量龐大、結(jié)構(gòu)復(fù)雜、來源眾多的生產(chǎn)經(jīng)營數(shù)據(jù),尤其是難以適應(yīng)當(dāng)前大數(shù)據(jù)帶來的變化。

2)生產(chǎn)經(jīng)營各類數(shù)據(jù)之間共享和銜接不足

目前,生產(chǎn)經(jīng)營數(shù)據(jù)來源渠道較多,生產(chǎn)數(shù)據(jù)、內(nèi)部價(jià)格數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)等分散于企業(yè)內(nèi)部各獨(dú)立信息系統(tǒng)之中,各層次的數(shù)據(jù)共享程度有限;宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、外部價(jià)格數(shù)據(jù)等來源于互聯(lián)網(wǎng)的有價(jià)值數(shù)據(jù),大部分石油石化企業(yè)尚未實(shí)現(xiàn)自動化與常態(tài)化的數(shù)據(jù)獲取,生產(chǎn)經(jīng)營分析和決策需要的各類數(shù)據(jù)之間共享和銜接不足。

3)對生產(chǎn)經(jīng)營數(shù)據(jù)深入挖掘和利用不充分

雖然石油石化企業(yè)傳統(tǒng)的信息系統(tǒng)已經(jīng)能夠?qū)崿F(xiàn)對系統(tǒng)內(nèi)生產(chǎn)數(shù)據(jù),經(jīng)營數(shù)據(jù)的分類、匯總、統(tǒng)計(jì)和綜合分析利用,但是利用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)規(guī)律和趨勢的比較少見,尚未對半結(jié)構(gòu)化和非結(jié)構(gòu)化等復(fù)雜類型的數(shù)據(jù)進(jìn)行采集和深度分析,尚未提供一個(gè)方便快捷的數(shù)據(jù)分析平臺對企業(yè)生產(chǎn)經(jīng)營全鏈條數(shù)據(jù)進(jìn)行快速有效的分析與應(yīng)用。同時(shí),企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)向信息、知識轉(zhuǎn)化方面仍存在較大不足。

2大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用

2.1大數(shù)據(jù)技術(shù)應(yīng)用必要性

2.1.1業(yè)務(wù)發(fā)展需求

“十三五”及未來一段時(shí)間,石油石化企業(yè)發(fā)展面臨的外部環(huán)境具有較大不確定性,隨著國際油價(jià)的持續(xù)低迷,如何利用大數(shù)據(jù)技術(shù),準(zhǔn)確捕捉市場信息,及時(shí)根據(jù)市場變化調(diào)整企業(yè)生產(chǎn)經(jīng)營方案,是企業(yè)掌握生產(chǎn)經(jīng)營主動權(quán)、提升市場競爭力的關(guān)鍵性問題。同時(shí)在“互聯(lián)網(wǎng)+能源行業(yè)”發(fā)展模式的持續(xù)發(fā)酵下,數(shù)據(jù)已被視為石油石化企業(yè)的核心資產(chǎn),數(shù)據(jù)管理與分析已成為企業(yè)創(chuàng)新發(fā)展的重要手段,數(shù)據(jù)分析能力正在成為石油行業(yè)的核心競爭力。利用大數(shù)據(jù)技術(shù)來提升企業(yè)市場快速響應(yīng)能力、提高生產(chǎn)經(jīng)營管理和運(yùn)作水平的必要性和緊迫性日益凸顯。

2.1.2應(yīng)用大數(shù)據(jù)技術(shù)的意義

1)發(fā)現(xiàn)和解決企業(yè)生產(chǎn)經(jīng)營實(shí)際問題

企業(yè)應(yīng)用大數(shù)據(jù)技術(shù),有利于揭示隱藏在數(shù)據(jù)中的經(jīng)營規(guī)律與特點(diǎn),有利于生產(chǎn)經(jīng)營管理人員和決策支持研究人員及時(shí)發(fā)現(xiàn)生產(chǎn)經(jīng)營中存在的問題、瓶頸和矛盾,通過分析問題、解決問題,適時(shí)調(diào)整生產(chǎn)經(jīng)營方案,提出相應(yīng)的策略建議,從而實(shí)現(xiàn)企業(yè)上下游協(xié)調(diào)發(fā)展和整體效益的最大化。

2)為企業(yè)生產(chǎn)經(jīng)營決策提供依據(jù)

企業(yè)內(nèi)部生產(chǎn)經(jīng)營數(shù)據(jù)、外部宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、價(jià)格數(shù)據(jù),均是企業(yè)進(jìn)行生產(chǎn)經(jīng)營分析和生產(chǎn)經(jīng)營策略制定的重要基礎(chǔ)。利用大數(shù)據(jù)技術(shù),實(shí)現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)等復(fù)雜類型數(shù)據(jù)的收集和分析利用,提升各類數(shù)據(jù)的資產(chǎn)化價(jià)值,從而為生產(chǎn)經(jīng)營決策提供更加全面和準(zhǔn)確的依據(jù)。

3)提升企業(yè)數(shù)據(jù)管理能力和信息化水平

利用大數(shù)據(jù)技術(shù),可以滿足石油石化企業(yè)對于計(jì)算能力和數(shù)據(jù)處理能力的高需求,實(shí)現(xiàn)計(jì)算能力的靈活可伸縮性,實(shí)現(xiàn)對計(jì)算能力和資源更好的管理,從而提升企業(yè)數(shù)據(jù)管理和利用的效能,提高企業(yè)信息化建設(shè)水平。

2.2大數(shù)據(jù)技術(shù)應(yīng)用場景

就生產(chǎn)經(jīng)營管理來說,大數(shù)據(jù)技術(shù)在石油石化企業(yè)的應(yīng)用場景可以分為兩個(gè)層次:一是總部層面業(yè)務(wù)鏈整體優(yōu)化的應(yīng)用,二是在企業(yè)上中下游各項(xiàng)業(yè)務(wù)領(lǐng)域的專業(yè)應(yīng)用。

2.2.1總部層面的應(yīng)用

對于國有大型石油石化企業(yè)而言,大數(shù)據(jù)技術(shù)在總部層面的應(yīng)用更能體現(xiàn)大數(shù)據(jù)技術(shù)本身的優(yōu)越性和必要性。主要應(yīng)用場景包括:業(yè)務(wù)鏈上中下游一體化優(yōu)化、國內(nèi)國外市場統(tǒng)籌優(yōu)化、不同油價(jià)情景的資源配置優(yōu)化、不同工況情景的生產(chǎn)方案優(yōu)化等。

2.2.2主要業(yè)務(wù)領(lǐng)域的應(yīng)用

1)在勘探開發(fā)領(lǐng)域

大數(shù)據(jù)技術(shù)在勘探開發(fā)領(lǐng)域可用于產(chǎn)量預(yù)測分析、勘探開發(fā)分析、地震數(shù)據(jù)分析、鉆井分析、提高采收率分析、油氣完整性分析等[2]。

2)在煉油化工領(lǐng)域

大數(shù)據(jù)技術(shù)在煉油化工領(lǐng)域可用于生產(chǎn)運(yùn)行分析與優(yōu)化、能效預(yù)測分析與優(yōu)化、煉化裝置運(yùn)行分析等。

3)在銷售領(lǐng)域

大數(shù)據(jù)技術(shù)在銷售領(lǐng)域可用于市場需求預(yù)測、油價(jià)預(yù)測、物流優(yōu)化、銷售分析、營銷活動分析、客戶分析、關(guān)聯(lián)商品分析等。

2.3大數(shù)據(jù)技術(shù)應(yīng)用路徑

大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用路徑,主要包括以下三方面:大數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)并行處理技術(shù)、面向業(yè)務(wù)的數(shù)據(jù)分析技術(shù)。

1)大數(shù)據(jù)存儲技術(shù)

隨著企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)量的日益龐大,常常存在對數(shù)據(jù)庫高并發(fā)讀寫的需求、海量數(shù)據(jù)高效率存儲和訪問的需求、數(shù)據(jù)庫高可擴(kuò)展性和高可用性的需求、海量異源異構(gòu)數(shù)據(jù)的存儲需求,而石油石化企業(yè)現(xiàn)有的數(shù)據(jù)存儲方式已無法滿足以上需要。將海量的數(shù)據(jù)低成本、低能耗、高可靠性的進(jìn)行存儲是大數(shù)據(jù)面臨的嚴(yán)峻挑戰(zhàn)。基于工業(yè)大數(shù)據(jù)云平臺的分布式數(shù)據(jù)集群存儲技術(shù),能夠靈活擴(kuò)展數(shù)據(jù)節(jié)點(diǎn),便捷地設(shè)置數(shù)據(jù)副本配置策略,為集群環(huán)境提供高擴(kuò)展和高可用的容量存儲能力,大幅降低海量數(shù)據(jù)應(yīng)用的軟硬件成本。該技術(shù)支持海量結(jié)構(gòu)化數(shù)據(jù)的快速檢索和非結(jié)構(gòu)化數(shù)據(jù)的存儲應(yīng)用,能夠保障查詢應(yīng)用的快速響應(yīng),提升各類數(shù)據(jù)的訪問和處理速度,保障業(yè)務(wù)數(shù)據(jù)和優(yōu)化成果的快速訪問。HDFS(HadoopDistributedFileSystem,分布式文件系統(tǒng))是適合在大規(guī)模集群中存儲海量數(shù)據(jù)文件的Hadoop分布式文件系統(tǒng),通過HDFS能夠有效滿足大數(shù)據(jù)存儲要求,實(shí)現(xiàn)海量數(shù)據(jù)的存儲。

2)大數(shù)據(jù)并行處理技術(shù)

企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)規(guī)模大且分布在多個(gè)信息系統(tǒng)的多臺服務(wù)器上,傳統(tǒng)的數(shù)據(jù)處理方法效率低,需要合適的算法和高性能計(jì)算能力才能為大數(shù)據(jù)分析帶來有意義的結(jié)果,所以需要一種能在多臺服務(wù)器上并行計(jì)算的框架。MapReduce(映射規(guī)約)是一個(gè)高效的對海量數(shù)據(jù)進(jìn)行分布式計(jì)算的模型框架,它可以并行處理超大規(guī)模數(shù)據(jù)量,很容易將計(jì)算擴(kuò)展到多臺機(jī)器上并行進(jìn)行,提高計(jì)算效率。利用MapReduce計(jì)算框架,可以實(shí)現(xiàn)海量數(shù)據(jù)的并行處理和復(fù)雜計(jì)算。

3)面向業(yè)務(wù)的數(shù)據(jù)分析

通過集成統(tǒng)計(jì)分析工具和數(shù)據(jù)挖掘工具,可實(shí)現(xiàn)對生產(chǎn)經(jīng)營領(lǐng)域的海量數(shù)據(jù)的深入挖掘和分析。常用的統(tǒng)計(jì)分析工具有Hive,常用的數(shù)據(jù)挖掘工具有Mahout。

2.4企業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)設(shè)計(jì)

石油石化企業(yè)構(gòu)建大數(shù)據(jù)應(yīng)用架構(gòu)可以包括三個(gè)層次:大數(shù)據(jù)集成與管理、大數(shù)據(jù)分析、大數(shù)據(jù)應(yīng)用與展示。

2.4.1建立統(tǒng)一的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺

充分利用企業(yè)已建的各類信息系統(tǒng)數(shù)據(jù)集成成果,進(jìn)一步擴(kuò)展集成宏觀經(jīng)濟(jì)、市場、價(jià)格及產(chǎn)業(yè)政策等外部數(shù)據(jù),搭建覆蓋全面、高效可靠、集成共享的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺,為生產(chǎn)經(jīng)營決策提供常態(tài)化、穩(wěn)定的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)管理平臺一般包括數(shù)據(jù)集成模塊和數(shù)據(jù)存儲管理模塊。

1)數(shù)據(jù)集成模塊

數(shù)據(jù)集成模塊應(yīng)當(dāng)包括8大功能:數(shù)據(jù)源接口管理、數(shù)據(jù)映射管理、數(shù)據(jù)監(jiān)控管理、數(shù)據(jù)編碼轉(zhuǎn)換管理、任務(wù)調(diào)度管理、數(shù)據(jù)調(diào)整管理、數(shù)據(jù)供給管理和平臺管理。數(shù)據(jù)集成模塊能夠提供內(nèi)外部多類數(shù)據(jù)實(shí)時(shí)抽取、采集調(diào)度、清洗管理等功能,為數(shù)據(jù)實(shí)時(shí)采集和入庫提供保障。根據(jù)數(shù)據(jù)來源和數(shù)據(jù)形式的不同,可采取多種采集方式,主要包括集成接口方式、網(wǎng)絡(luò)抓取方式和手工填報(bào)錄入三種。

2)數(shù)據(jù)存儲管理模塊

采用工業(yè)大數(shù)據(jù)云平臺的分布式數(shù)據(jù)集群存儲技術(shù),集成各類結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),提供海量存儲環(huán)境和實(shí)時(shí)應(yīng)用能力。同時(shí)建立6大類數(shù)據(jù)庫,即宏觀經(jīng)濟(jì)數(shù)據(jù)庫、市場數(shù)據(jù)庫、價(jià)格數(shù)據(jù)庫、生產(chǎn)數(shù)據(jù)庫、財(cái)務(wù)數(shù)據(jù)庫和成果數(shù)據(jù)庫,實(shí)現(xiàn)對海量數(shù)據(jù)的分類管理。

2.4.2建立統(tǒng)一的數(shù)據(jù)分析平臺

采用工業(yè)大數(shù)據(jù)云化技術(shù),構(gòu)建滿足企業(yè)生產(chǎn)經(jīng)營海量數(shù)據(jù)大規(guī)模并行計(jì)算的軟件系統(tǒng),利用MapReduce計(jì)算框架實(shí)現(xiàn)對各類數(shù)據(jù)的并行處理;對生產(chǎn)經(jīng)營相關(guān)應(yīng)用軟件和分析工具進(jìn)行整合,利用Hive、Mahout等工具實(shí)現(xiàn)對各類數(shù)據(jù)的多維相關(guān)性分析;生產(chǎn)經(jīng)營人員可依據(jù)需求選取相對應(yīng)的專業(yè)應(yīng)用軟件和工具進(jìn)行數(shù)據(jù)分析,從而搭建大數(shù)據(jù)分析環(huán)境,便捷地實(shí)現(xiàn)數(shù)據(jù)加載、軟件及工具應(yīng)用、數(shù)據(jù)的深入挖掘。

2.4.3建立統(tǒng)一的應(yīng)用展示平臺

數(shù)據(jù)只有通過動態(tài)展示,才能更好地發(fā)揮他的價(jià)值。應(yīng)用多媒體交互技術(shù),通過大屏幕、桌面、移動設(shè)備等媒介,實(shí)現(xiàn)各類生產(chǎn)經(jīng)營數(shù)據(jù),分析成果的在線查詢、可視化呈現(xiàn)與,輔助生產(chǎn)經(jīng)營管理人員快速決策,為生產(chǎn)經(jīng)營管理人員提供統(tǒng)一的生產(chǎn)經(jīng)營應(yīng)用展示平臺。

3結(jié)束語

運(yùn)用大數(shù)據(jù)技術(shù),實(shí)現(xiàn)對石油石化企業(yè)海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化生產(chǎn)經(jīng)營數(shù)據(jù)的統(tǒng)一采集、處理、存儲、分析、應(yīng)用和共享,并建立統(tǒng)一的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺、大數(shù)據(jù)分析平臺和應(yīng)用展示平臺,是將大數(shù)據(jù)技術(shù)應(yīng)用到石油石化企業(yè)生產(chǎn)經(jīng)營管理中的一種實(shí)踐,對石油石化企業(yè)不斷探索實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的應(yīng)用具有借鑒意義。

參考文獻(xiàn):

[1]鄧如燕.“大數(shù)據(jù)”在石油企業(yè)信息化建設(shè)的相關(guān)思考[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2014(2):153-154.

[2]徐鵬,吳冬,魏騫.大數(shù)據(jù)技術(shù)在石油石化行業(yè)的應(yīng)用[J].信息系統(tǒng)工程,2016(10):75-76.

作者:劉倩 閻君 杜國敏 徐舜華 王進(jìn) 單位:中國石油天然氣股份有限公司規(guī)劃總院 中國石油國際事業(yè)有限公司