公務(wù)員期刊網(wǎng) 論文中心 正文

交通管理能力大數(shù)據(jù)提升策略

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了交通管理能力大數(shù)據(jù)提升策略范文,希望能給你帶來靈感和參考,敬請閱讀。

交通管理能力大數(shù)據(jù)提升策略

1研究背景及意義

目前,“大數(shù)據(jù)”一詞成為熱點關(guān)鍵詞之一,預(yù)示著大數(shù)據(jù)時代的到來。大數(shù)據(jù)分析已經(jīng)不僅僅是信息革命的新階段,更關(guān)系到諸多實體企業(yè)在電子商務(wù)、公共服務(wù)及安全上的應(yīng)用,企業(yè)的發(fā)展革新已經(jīng)離不開大數(shù)據(jù)的應(yīng)用。如今,企業(yè)對于大數(shù)據(jù)已經(jīng)不再局限于了解大數(shù)據(jù)是什么階段,大數(shù)據(jù)已經(jīng)開始切實運用于實際。云計算和大數(shù)據(jù)將攜手,共同掀起生產(chǎn)力大解放,與以蒸汽機的使用和電氣的使用為代表的第一次工業(yè)革命和第二次工業(yè)革命不同的是,這次是以數(shù)據(jù)為材料,計算為能源。未來國家的發(fā)展戰(zhàn)略將會以數(shù)據(jù)儲備及數(shù)據(jù)分析為核心。城市交通已面臨諸多嚴重問題,必須采取更有效的措施,保證城市交通系統(tǒng)有效運行。為了應(yīng)對城市交通運行困境,第一屆智能交通大會于1994年在巴黎召開,從此,智能交通日益成為人們熱衷探討的話題,隨著時間流逝,智能交通研究與應(yīng)用在美、歐、日三國取得了長足發(fā)展,這三個國家及地區(qū)也成為了世界智能交通研究應(yīng)用的主要基地。同時,一些發(fā)達國家及地區(qū)例如新加坡、香港、澳大利亞等在此方面的研究也取得了相當?shù)某晒?。我國近年來也一直在充分利用物?lián)網(wǎng)、云計算、大數(shù)據(jù)、移動互聯(lián)等技術(shù),大力推進我國交通運輸領(lǐng)域的信息化。目前,云計算、大數(shù)據(jù)、移動互聯(lián)等新技術(shù)已被廣泛運用到車路協(xié)同系統(tǒng)、公眾出行便捷服務(wù)、車聯(lián)網(wǎng)等領(lǐng)域的研究和實踐中。隨著大數(shù)據(jù)技術(shù)的廣泛研究及應(yīng)用,智能交通上已經(jīng)可以運用大數(shù)據(jù)手段,對交通運輸?shù)男枨筮M行分析,得出精確的需求數(shù)據(jù),在這樣的形勢之下,交通網(wǎng)絡(luò)優(yōu)化、智能化出行服務(wù)以及交通應(yīng)急保障等方面將形成巨大的市場,大數(shù)據(jù)技術(shù)將成為市場新趨勢。

2研究內(nèi)容

借助大數(shù)據(jù)技術(shù),可以對多源、異構(gòu)、海量、時變的海量交通數(shù)據(jù)進行分析和處理,挖掘其隱含的時空知識,為交通管理部門和出行者提供有利于公共系統(tǒng)調(diào)度和車主出行的決策信息,以便主動干預(yù)各類可能的交通問題,而不再被動接受,主要內(nèi)容包括以下內(nèi)容。

2.1構(gòu)建交通大數(shù)據(jù)的時空模型,對交通流狀態(tài)分析和趨勢預(yù)測

利用聚類分析方法,構(gòu)建交通流大數(shù)據(jù)時空模型。利用對海量交通數(shù)據(jù)(包括靜態(tài)和動態(tài)數(shù)據(jù):交通基礎(chǔ)設(shè)施數(shù)據(jù)是相對靜態(tài)的,如橋梁、城市道路、立交、軌道網(wǎng)、停車場等。各類動態(tài)交通運行信息即為動態(tài)交通數(shù)據(jù),包括交通事故、施工占道、道路實時車速、流量、停車位使用等)。進行空間聚類分析,根據(jù)道路節(jié)點收集的數(shù)據(jù),將數(shù)據(jù)內(nèi)部隱含的信息特征找出來,將這些相似度高、關(guān)聯(lián)性大的數(shù)據(jù)聚合。運用這一聚類分析方法,人們可以發(fā)現(xiàn)數(shù)據(jù)中交通網(wǎng)絡(luò)的分布模式,從數(shù)據(jù)結(jié)果出發(fā),實現(xiàn)交通流狀態(tài)的分析及預(yù)測。道路網(wǎng)通達性對于交通流量序列有著極大影響,處于同一時空之內(nèi)的道路之間,必然存在時間差異關(guān)系極大的流量序列。所以,各個流量序列之間的時間相關(guān)性,可以通過空間權(quán)重矩陣和時間延遲做出明確的表達,按照相關(guān)系數(shù),將預(yù)測相關(guān)因子選取出來,以多種算法模型為手段,對交通流趨勢進行預(yù)測。

2.2基于交通流大數(shù)據(jù)時空模型,分析交通路網(wǎng)擁堵狀態(tài)的趨勢和成因

交通擁堵趨勢及成因可以通過分析擁堵狀態(tài)的數(shù)據(jù)、時空特征、語義,以時空關(guān)聯(lián)性為基本方法,采用時空關(guān)聯(lián)規(guī)則做出分析。在這一過程中,還應(yīng)該提高時空關(guān)聯(lián)規(guī)則的獲取效率,可以通過過濾無效數(shù)據(jù),降低時間空間雜亂數(shù)據(jù)的干擾。按照這種思路,首先可以對頻繁項集產(chǎn)生過程中的時空數(shù)據(jù)進行時間、空間段上的劃分,分析時間與空間的有效性及關(guān)聯(lián)性,在形成事務(wù)表之后,鏈接時空規(guī)則之間的項集,以擁堵狀態(tài)的時空關(guān)聯(lián)規(guī)則為基礎(chǔ),分析交通網(wǎng)的擁堵趨勢。

2.3基于復(fù)雜網(wǎng)絡(luò)的各公共交通子網(wǎng)之間級聯(lián)關(guān)系的研究

公共交通是城市交通管理的主要對象,利用大數(shù)據(jù)手段分析公共交通數(shù)據(jù)(公交車、地鐵等數(shù)據(jù)),探尋交通運行規(guī)律,研究各公共交通子網(wǎng)之間的級聯(lián)關(guān)系。

3關(guān)鍵問題

3.1大數(shù)據(jù)平臺的搭建

交通信息數(shù)據(jù)具有海量異構(gòu)的特征,需要采用大數(shù)據(jù)手段、搭建大數(shù)據(jù)平臺,本項目擬搭建HADOOP大數(shù)據(jù)環(huán)境,既需要對HADOOP環(huán)境本身的調(diào)試和配置,也需要對海量異構(gòu)的交通數(shù)據(jù)進行分類梳理。因此,搭建HADOOP大數(shù)據(jù)環(huán)境需要解決描述數(shù)據(jù)之間的連接關(guān)系及其相互影響,以及在分布式條件下數(shù)據(jù)的分類、聚合及其參數(shù)的設(shè)定。因此,解決了這一問題,將為后續(xù)大數(shù)據(jù)算法模型的運行提供基礎(chǔ)環(huán)境。

3.2多目標多因素算法和模型建立和優(yōu)化方法

城市交通運行特性異常復(fù)雜,尤其是在擁堵情況下,受到的約束條件更多(如地鐵客流、公交車客流等),因此,需要在課題建立的模型基礎(chǔ)上制定適應(yīng)多目標多時間尺度的協(xié)調(diào)優(yōu)化方法。

3.3交通復(fù)雜網(wǎng)絡(luò)拓撲

城市交通運行涉及交通路網(wǎng)、地鐵、公交、出租等復(fù)雜數(shù)據(jù),這些數(shù)據(jù)各自成網(wǎng),又相互作用。因此,建立交通復(fù)雜網(wǎng)絡(luò)拓撲結(jié)構(gòu),對模擬現(xiàn)實交通運行狀況,探尋交通運行規(guī)律至關(guān)重要。

4研究步驟

可以采用理論分析、數(shù)值計算和試驗相結(jié)合的方法,取得研究效果。

4.1清洗數(shù)據(jù)

交通數(shù)據(jù)的組成包括動態(tài)數(shù)據(jù)以及基礎(chǔ)設(shè)施數(shù)據(jù),運用大數(shù)據(jù)手段來提升交通運行效率,就要對數(shù)據(jù)進行清洗。首先,動態(tài)交通數(shù)據(jù)的采集可以通過移動通信、視頻、波頻等方式進行。例如,路通流量數(shù)據(jù)的收集,可以通過固定的視頻監(jiān)控、感應(yīng)線圈等方式進行;車輛行駛軌跡以及車輛型號、流量、車速等信息可以采用RFID技術(shù),從而獲得關(guān)鍵斷面的相關(guān)信息;車輛位置、速度、行程軌跡等信息可以通過GPS等移動定位設(shè)備收集;此外,用戶線路、速度信息的收集還可以采用手機信令手段。動態(tài)交通數(shù)據(jù)的收集離不開基礎(chǔ)設(shè)備,合理使用這些設(shè)備,可以將交通數(shù)據(jù)動態(tài)表現(xiàn)出來,有著很強的優(yōu)越性,能夠為交通運行實時監(jiān)控以及動態(tài)分析提供必要的數(shù)據(jù)基礎(chǔ)。但是,這些數(shù)據(jù)在收集過程中必然存在極大的復(fù)雜性,龐大的數(shù)據(jù)量以及噪聲數(shù)據(jù)會嚴重影響到數(shù)據(jù)質(zhì)量,直接收集的數(shù)據(jù)必然無法為交通數(shù)據(jù)分析的數(shù)據(jù)基礎(chǔ),因此,有必要對這些直接數(shù)據(jù)進行清洗,清洗方法主要有以下幾種:①數(shù)據(jù)清洗首先要確定干擾在哪里,干擾作用的地方。團隊可以運用已有的大數(shù)據(jù)分析方法,對交通基礎(chǔ)數(shù)據(jù)做出針對性分析,基于數(shù)據(jù)屬性以及分析目的,從數(shù)據(jù)中獲取需要的元數(shù)據(jù),找出質(zhì)量問題。②數(shù)據(jù)清洗需要以規(guī)范的手段為保障,進行數(shù)據(jù)清洗必須定義清洗轉(zhuǎn)換規(guī)則。通過上一步工作,團隊可以獲得相應(yīng)的元數(shù)據(jù),獲得存在的質(zhì)量問題,針對這些問題,團隊可以定義轉(zhuǎn)換規(guī)則以及工作流。③在數(shù)據(jù)收集之后,要對數(shù)據(jù)進行標準化處理,從而獲得標準化的直觀數(shù)據(jù)??梢赃\用統(tǒng)計方法、聚類方法、關(guān)聯(lián)規(guī)則等。④用清洗數(shù)據(jù)替換源數(shù)據(jù)。

4.2提取并分析數(shù)據(jù)

要對動態(tài)交通流以及交通網(wǎng)絡(luò)擁堵狀況進行分析,必須對交通數(shù)據(jù)進行有效組織,然后對交通數(shù)據(jù)進行提取分析。首先,數(shù)據(jù)分析應(yīng)該以交管部門以及用戶需求為出發(fā)點,且工作必須具有相當時效性。在這一過程中,工作團隊可以將交通流以及擁堵狀態(tài)為工作導(dǎo)向,結(jié)合數(shù)據(jù)的時空特征,運用聚類、預(yù)測、異常檢測等方法,深入分析數(shù)據(jù)之間的關(guān)聯(lián)性,實現(xiàn)多維度、多粒度特征分析,最后運用降維技術(shù)進行數(shù)據(jù)處理。

4.3基于大數(shù)據(jù)分析的智能交通模型

4.3.1預(yù)測模型1(L1正則化模型)

對線性回歸進行1范數(shù)的正則化,在經(jīng)驗風險上加上一個正則化項(regularizer)或罰項(penaltyterm)。正則化一般是模型復(fù)雜度的單調(diào)遞增函數(shù),模型越復(fù)雜,正則化值就越大。比如,正則化項可以是模型參數(shù)向量的范數(shù)。正則化一般具有如下形式:min1Ni=1NL(yi,fxi+λJ(f))其中,第1項是經(jīng)驗風險,第二項是正則化項,λ≥0是為調(diào)整兩者之間關(guān)系的系數(shù)?;貧w問題中,損失函數(shù)是平方損失,正則化項可以是參數(shù)向量L1范數(shù):L(w)=1Ni=1N(fxi;w-yi)2+λw1這里,w1表示參數(shù)向量w的L1范數(shù)。第1項的經(jīng)驗風險較小的模型可能較復(fù)雜(有多個非零參數(shù)),這時,第2項的模型復(fù)雜度會較大。正則化的作用是選擇經(jīng)驗風險與模型復(fù)雜度同時較小的模型。

4.3.2預(yù)測模型2(L2正則化模型)

對線性回歸進行L2正則化。正則化一般具有如下形式:min1Ni=1NL(yi,fxi+λJ(f))其中,第1項是經(jīng)驗風險,第二項是正則化項,λ≥0是為調(diào)整兩者之間關(guān)系的系數(shù)。回歸問題中,損失函數(shù)是平方損失,正則化項可以是參數(shù)向量L2范數(shù):L(w)=1Ni=1N(fxi;w-yi)2+λw2其中,w2表示參數(shù)向量w的L2范數(shù)。

4.3.3預(yù)測模型3(M5P模型)

M5P模型,是指利用系統(tǒng)變量分析特定變量值的預(yù)測模型,這種模型所運用的思想主要為決策樹思想。首先,工作者需要將變量分布的特征分析出來,按照變量分布特征,將樣本空間劃分為平行的長方形區(qū)域,然后利用剪枝、平滑的方法,將每一個分區(qū)確立對應(yīng)的回歸模型,這樣按照不同數(shù)據(jù)特征建立的模型合理性將更大。在這個模型中,決策樹構(gòu)建的思想十分直接,只需按照決策樹生成算法構(gòu)建樹,然后以最大化信息增益為節(jié)點分支準則即可。在M5P之中,由于模型使用的是最小化子集屬性差異,因此引入剪枝策略,剪枝策略包括構(gòu)造時的預(yù)剪枝、構(gòu)造后的后剪枝。一般情況之下,預(yù)剪枝一般在最小樣本數(shù)上進行,后剪枝一般在估計誤差置信水平上進行。特殊的,如果存在節(jié)點子樹性能低于內(nèi)部節(jié)點性能的情況,可以講內(nèi)部節(jié)點轉(zhuǎn)換為葉節(jié)點。決策樹的分類一般分為兩個步驟。①數(shù)據(jù)中知識獲取,進行機器學(xué)習,這個過程就是決策樹模型建立,一般以訓(xùn)練集為基礎(chǔ)。②利用已經(jīng)生成的決策樹,對數(shù)據(jù)進行分類。這種分類應(yīng)該首先龔根節(jié)點開始,應(yīng)該對數(shù)據(jù)對象的屬性進行逐步測試,測算得出相應(yīng)的值,然后按照決策樹分支往下走,以葉節(jié)點為終點,形成相應(yīng)分類。值得注意的是,在對給定數(shù)據(jù)集進行計算時,普通典型的線性回歸算法只能給出單一的回歸等式,無法將樣本空間劃分為平行空間,無法確定相應(yīng)空間回歸模型,在這種情況之下,工作者就可以采用決策樹方法。本研究將原始樣本按8:2的比例分別劃分為訓(xùn)練集、測試集,并對全體樣本利用上述預(yù)測模型進行多時段的預(yù)測,然后對比預(yù)測效果。

4.4模型評估

在本文中,給出方案的評價指標采用預(yù)測準確度,在這里,我們可以引用平均絕對誤差(MeanAbsoluteError,簡稱MAE),以此將預(yù)測與實際流量之間的相似度表示出來。其中C代表預(yù)測次數(shù)、預(yù)測流量、實際流量。采用MAE有兩個優(yōu)點:①這一方法的計算方法較為簡單,且計算結(jié)果便于理解;②由于在計算中,絕對平均誤差的值是唯一的,系統(tǒng)之間不存在多個誤差值,因此,這種方式能夠很好地區(qū)分系統(tǒng)絕對平均誤差的差異。

4.5基于復(fù)雜網(wǎng)絡(luò)理論研究各公共交通子網(wǎng)級聯(lián)關(guān)系

基于復(fù)雜網(wǎng)絡(luò)理論分析各公共交通子網(wǎng)的運行規(guī)律和機理。在此基礎(chǔ)上,研究各公共子網(wǎng)之間的級聯(lián)關(guān)系,探究各子網(wǎng)之間的相關(guān)關(guān)系和影響機理。

作者:李曉 單位:成都師范學(xué)院