網(wǎng)絡(luò)爬蟲下的房地產(chǎn)評(píng)估測(cè)評(píng)系統(tǒng)研究

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了網(wǎng)絡(luò)爬蟲下的房地產(chǎn)評(píng)估測(cè)評(píng)系統(tǒng)研究范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

[摘要]針對(duì)傳統(tǒng)房地產(chǎn)評(píng)估行業(yè)存在的問(wèn)題構(gòu)建了新的流程優(yōu)化方案，基于該流程方案設(shè)計(jì)了利用python網(wǎng)絡(luò)爬蟲獲取互聯(lián)網(wǎng)大量住宅型房地產(chǎn)數(shù)據(jù)的測(cè)評(píng)系統(tǒng)。同時(shí)闡述了該測(cè)評(píng)系統(tǒng)通過(guò)大數(shù)據(jù)和資產(chǎn)評(píng)估市場(chǎng)法得出比準(zhǔn)價(jià)格，該價(jià)格作為依據(jù)為評(píng)估師的執(zhí)業(yè)結(jié)果進(jìn)行判斷評(píng)分，有助于降低評(píng)估誤差，進(jìn)一步規(guī)范評(píng)估市場(chǎng)。

[關(guān)鍵詞]python爬蟲；住宅型房地產(chǎn)評(píng)估測(cè)評(píng)系統(tǒng)；評(píng)估價(jià)值測(cè)評(píng)

一、引言

在傳統(tǒng)房產(chǎn)評(píng)估過(guò)程中，委托方和評(píng)估機(jī)構(gòu)可能會(huì)存在利益共謀，從而損害第三方利益。單個(gè)評(píng)估企業(yè)對(duì)資產(chǎn)評(píng)估所得到的結(jié)果也難免存在失誤。如果評(píng)估公司的評(píng)估結(jié)果與委托方預(yù)期差距較大時(shí)，委托方會(huì)選擇重復(fù)評(píng)估，浪費(fèi)人力和物力。這些問(wèn)題都不利于評(píng)估行業(yè)的健康發(fā)展。隨著大數(shù)據(jù)時(shí)代的到來(lái)，評(píng)估行業(yè)如何在大數(shù)據(jù)環(huán)境下獲得所需要的評(píng)估數(shù)據(jù)變得日益重要。近年來(lái)，我國(guó)資產(chǎn)評(píng)估行業(yè)努力推進(jìn)評(píng)估行業(yè)大數(shù)據(jù)建設(shè)，很多學(xué)者積極探索資產(chǎn)評(píng)估信息化。吳穎(2016)認(rèn)為房地產(chǎn)的三種評(píng)估方法由于過(guò)分依賴資產(chǎn)評(píng)估師的經(jīng)驗(yàn)，從而對(duì)評(píng)估結(jié)果的公信力存在一定的影響。鑒于此，本文引入第三方監(jiān)督機(jī)構(gòu)，借助房地產(chǎn)價(jià)值評(píng)估測(cè)評(píng)系統(tǒng)，提高評(píng)估結(jié)果的準(zhǔn)確性和評(píng)估行業(yè)的公信力。胡蘭，段禾青(2018)提出了在資產(chǎn)評(píng)估行業(yè)利用大數(shù)據(jù)與云計(jì)算相結(jié)合，用以彌補(bǔ)分析階段人工信息處理出錯(cuò)的可能，并提出構(gòu)建評(píng)估大數(shù)據(jù)智能化平臺(tái)，不足之處在于尚未闡述如何構(gòu)建評(píng)估大數(shù)據(jù)智能化平臺(tái)以及如何獲得平臺(tái)的數(shù)據(jù)。為了彌補(bǔ)這一不足，本文融合政府、房產(chǎn)交易市場(chǎng)、互聯(lián)網(wǎng)和財(cái)務(wù)軟件四個(gè)層面數(shù)據(jù)來(lái)源，經(jīng)過(guò)數(shù)據(jù)清洗后組成了數(shù)據(jù)倉(cāng)庫(kù)，為構(gòu)建評(píng)估大數(shù)據(jù)智能化平臺(tái)提供了思路。董睿琳，董楠(2019)提出了利用網(wǎng)絡(luò)爬蟲技術(shù)獲取數(shù)據(jù)資源和利用大數(shù)據(jù)進(jìn)行自動(dòng)估價(jià)系統(tǒng)。在此基礎(chǔ)上本文提出了利用python構(gòu)建網(wǎng)絡(luò)爬蟲以及如何利用爬蟲獲取數(shù)據(jù)、獲取互聯(lián)網(wǎng)上哪部分?jǐn)?shù)據(jù)等內(nèi)容，以實(shí)現(xiàn)快速、高效、大面積的爬取數(shù)據(jù)。本文利用基于python的網(wǎng)絡(luò)爬蟲技術(shù)將互聯(lián)網(wǎng)大數(shù)據(jù)資源與住宅型房地產(chǎn)價(jià)值評(píng)估測(cè)評(píng)系統(tǒng)結(jié)合，自動(dòng)進(jìn)行分析計(jì)算，為評(píng)估結(jié)果提供了一定的參考依據(jù)，有助于降低評(píng)估誤差，進(jìn)一步規(guī)范了評(píng)估市場(chǎng)。

二、評(píng)估流程優(yōu)化

住宅型房地產(chǎn)評(píng)估流程優(yōu)化是指轉(zhuǎn)變傳統(tǒng)價(jià)值評(píng)估觀念，引入獨(dú)立的第三方監(jiān)督機(jī)構(gòu)，利用大數(shù)據(jù)技術(shù)介入結(jié)果檢查，同時(shí)管理評(píng)估行業(yè)的信用評(píng)級(jí)，從信譽(yù)方面把控評(píng)估公司的評(píng)估資質(zhì)，淘汰掉不符合要求的評(píng)估公司，促進(jìn)市場(chǎng)的良性競(jìng)爭(zhēng)。監(jiān)管部門的引入，不僅保證了評(píng)估結(jié)果的可靠性，還可降低評(píng)估風(fēng)險(xiǎn)，減少重復(fù)評(píng)估對(duì)資源的浪費(fèi)，有利促進(jìn)評(píng)估行業(yè)的發(fā)展。委托方在市場(chǎng)上評(píng)估需求，以公開(kāi)招標(biāo)的形式吸引合格的評(píng)估公司，并依據(jù)評(píng)估公司信譽(yù)評(píng)級(jí)進(jìn)行業(yè)務(wù)委托。監(jiān)管部門對(duì)評(píng)估公司評(píng)估過(guò)程介入監(jiān)管，首先對(duì)資產(chǎn)評(píng)估師現(xiàn)場(chǎng)采集的照片及底稿進(jìn)行審計(jì)審核，若審核不符合要求則對(duì)評(píng)估公司進(jìn)行評(píng)級(jí)扣分，若信息無(wú)誤則將數(shù)據(jù)錄入測(cè)評(píng)系統(tǒng)中進(jìn)行下一步的分析。測(cè)評(píng)系統(tǒng)的分析階段利用市場(chǎng)法、收益法或成本法對(duì)數(shù)據(jù)進(jìn)行處理，得出比準(zhǔn)價(jià)格，并將其與評(píng)估公司的結(jié)果進(jìn)行比較，若評(píng)估公司的結(jié)果與該價(jià)格偏離度較低，說(shuō)明評(píng)估公司評(píng)估質(zhì)量良好，委托方可接受該結(jié)果無(wú)需重復(fù)評(píng)估。最后監(jiān)管部門會(huì)依據(jù)結(jié)果的準(zhǔn)確性對(duì)評(píng)估公司信譽(yù)進(jìn)行評(píng)分，并更新公司信譽(yù)評(píng)級(jí)。該信譽(yù)將會(huì)影響委托方對(duì)評(píng)估公司的選擇。

三、住宅型房地產(chǎn)評(píng)估測(cè)評(píng)系統(tǒng)設(shè)計(jì)

依據(jù)評(píng)估房產(chǎn)優(yōu)化后的流程設(shè)計(jì)針對(duì)監(jiān)管方的測(cè)評(píng)系統(tǒng)。該系統(tǒng)特色之處在于數(shù)據(jù)采集除利用財(cái)務(wù)報(bào)表等結(jié)構(gòu)化數(shù)據(jù)外，還通過(guò)基于python的網(wǎng)絡(luò)爬蟲技術(shù)采集互聯(lián)網(wǎng)上龐大的非結(jié)構(gòu)數(shù)據(jù)信息。系統(tǒng)采集的基礎(chǔ)數(shù)據(jù)是房產(chǎn)評(píng)估的整體依據(jù)，因此本系統(tǒng)利用互聯(lián)網(wǎng)大數(shù)據(jù)資源，全面的獲取住宅型房地產(chǎn)行業(yè)的數(shù)據(jù)信息，有助于提高評(píng)估公正性和真實(shí)性。住宅型房地產(chǎn)價(jià)值評(píng)估測(cè)評(píng)系統(tǒng)擁有三個(gè)功能模塊：數(shù)據(jù)采集、價(jià)值評(píng)估以及信譽(yù)反饋，下面分別對(duì)其進(jìn)行介紹。

(一)基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集下面將對(duì)數(shù)據(jù)的主要來(lái)源進(jìn)行闡述，并利用python語(yǔ)言設(shè)計(jì)網(wǎng)絡(luò)爬蟲對(duì)住宅型房地產(chǎn)的基本信息進(jìn)行抓取。1.數(shù)據(jù)采集來(lái)源數(shù)據(jù)的獲取主要來(lái)自以下幾個(gè)方面：(1)政府層面信息來(lái)源。獲取資產(chǎn)評(píng)估協(xié)會(huì)的行業(yè)指導(dǎo)、評(píng)估案例，以及政府部門在相關(guān)網(wǎng)站上的相關(guān)評(píng)估標(biāo)準(zhǔn)、細(xì)則，如土地級(jí)別圖、基準(zhǔn)地價(jià)表等，這是利用基準(zhǔn)地價(jià)系數(shù)修正法得到評(píng)估范圍的前提。(2)從房地產(chǎn)中介獲取數(shù)據(jù)信息。房地產(chǎn)中介掌握大量的買賣雙方的交易信息，因此能夠很好地反映市場(chǎng)需求和房地產(chǎn)價(jià)格，為測(cè)評(píng)系統(tǒng)的價(jià)值評(píng)估范圍提供較大的參考依據(jù)。(3)財(cái)務(wù)報(bào)表數(shù)據(jù)。在使用收益法對(duì)房地產(chǎn)進(jìn)行評(píng)估時(shí)，需要利用財(cái)務(wù)報(bào)表的相關(guān)信息。使用企業(yè)普及度較高的財(cái)務(wù)軟件，可實(shí)現(xiàn)對(duì)財(cái)務(wù)報(bào)表數(shù)據(jù)的收集。(4)運(yùn)用爬蟲獲取網(wǎng)頁(yè)數(shù)據(jù)?；ヂ?lián)網(wǎng)是一個(gè)巨大的信息庫(kù)，它提供了實(shí)時(shí)、快捷的海量信息。基于python技術(shù)的網(wǎng)絡(luò)爬蟲能夠穩(wěn)定高效的從大型網(wǎng)站中進(jìn)行大規(guī)模的數(shù)據(jù)爬取，為得出評(píng)估價(jià)值區(qū)間提供保障。通過(guò)上述四種主要渠道獲取并存儲(chǔ)數(shù)據(jù)，利用數(shù)據(jù)倉(cāng)庫(kù)加工這些異構(gòu)的數(shù)據(jù)源，消除掉數(shù)據(jù)源中的不一致，最終得到一個(gè)數(shù)據(jù)源的有效集成，從而構(gòu)建一個(gè)包含完整數(shù)據(jù)信息的評(píng)估大數(shù)據(jù)智能化平臺(tái)。網(wǎng)頁(yè)下存在的大量非結(jié)構(gòu)數(shù)據(jù)信息雖然價(jià)值高，但因數(shù)量龐大、結(jié)構(gòu)復(fù)雜而采集較為困難，因此下面主要介紹利用網(wǎng)絡(luò)爬蟲技術(shù)獲取互聯(lián)網(wǎng)下房產(chǎn)市場(chǎng)上大量數(shù)據(jù)的過(guò)程。2.網(wǎng)絡(luò)爬蟲爬取互聯(lián)網(wǎng)數(shù)據(jù)資源本系統(tǒng)設(shè)計(jì)數(shù)據(jù)采集模塊，通過(guò)python的語(yǔ)言編寫網(wǎng)絡(luò)爬蟲，抓取的內(nèi)容包括：(1)互聯(lián)網(wǎng)上的住宅房地產(chǎn)信息。具體包括某一地區(qū)房產(chǎn)位置、交易價(jià)格、建筑面積、房屋戶型、裝修情況、產(chǎn)權(quán)年限、所在樓層、戶型結(jié)構(gòu)、建筑類型、建筑結(jié)構(gòu)、配套電梯等。(2)政府部門在相關(guān)網(wǎng)站上的相關(guān)評(píng)估標(biāo)準(zhǔn)、細(xì)則。由于互聯(lián)網(wǎng)上的房產(chǎn)數(shù)據(jù)內(nèi)容龐大，并且信息往往不集中，數(shù)據(jù)的獲取存在一定的難度，因此下面主要闡述從互聯(lián)網(wǎng)上獲取的房地產(chǎn)基本信息。首先系統(tǒng)根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾掉與住宅型房地產(chǎn)主題無(wú)關(guān)的鏈接，保留有用的鏈接，然后對(duì)這些連接下的網(wǎng)頁(yè)進(jìn)行下載并對(duì)網(wǎng)頁(yè)結(jié)構(gòu)進(jìn)行分析，最后利用一定的算法獲取網(wǎng)頁(yè)下的房產(chǎn)基本信息并完成數(shù)據(jù)存儲(chǔ)。以鏈家房地產(chǎn)網(wǎng)站為例，在該網(wǎng)站搜索某市住房信息，可得到該市不同地區(qū)住房情況，點(diǎn)擊具體某一房源，在二級(jí)網(wǎng)站中查閱到該房源詳細(xì)的信息，因此需要獲取的房產(chǎn)詳細(xì)信息存儲(chǔ)在二級(jí)界面中。對(duì)房地產(chǎn)網(wǎng)站進(jìn)行元素審查發(fā)現(xiàn)，首先需要對(duì)主頁(yè)面進(jìn)行爬蟲設(shè)計(jì)，對(duì)該主網(wǎng)站樹(shù)形結(jié)構(gòu)下載后進(jìn)行DOM樹(shù)遍歷，并利用正則表達(dá)式提取其中包含的二級(jí)網(wǎng)站url。對(duì)于抓取到的第二層網(wǎng)站鏈接，繼續(xù)對(duì)其網(wǎng)頁(yè)結(jié)構(gòu)進(jìn)行分析，確認(rèn)好需要的數(shù)據(jù)所存在的位置后，對(duì)該網(wǎng)頁(yè)下的房產(chǎn)基本信息解析和數(shù)據(jù)的提取，最后將抓取到的信息經(jīng)過(guò)數(shù)據(jù)清洗，刪除掉一些空行、錯(cuò)誤的數(shù)據(jù)后保存在數(shù)據(jù)庫(kù)中，以保證數(shù)據(jù)的有效性和可用性。二級(jí)鏈接中的數(shù)據(jù)可以讓采集到的數(shù)據(jù)更加充實(shí)完善，從而提高資產(chǎn)評(píng)估的準(zhǔn)確性。

(二)基于市場(chǎng)法的價(jià)值評(píng)估由于大數(shù)據(jù)資產(chǎn)的交易市場(chǎng)越來(lái)越活躍，市場(chǎng)法評(píng)估大數(shù)據(jù)資產(chǎn)價(jià)值具有明顯優(yōu)勢(shì)，因此下面主要介紹利用市場(chǎng)法得出住宅型房地產(chǎn)的比準(zhǔn)價(jià)格。在基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集模塊中，網(wǎng)絡(luò)爬蟲已將從互聯(lián)網(wǎng)上爬取到的大數(shù)據(jù)信息存入數(shù)據(jù)庫(kù)，方便后續(xù)數(shù)據(jù)的查詢與調(diào)用。對(duì)評(píng)估人員現(xiàn)場(chǎng)勘察記錄底稿進(jìn)行審計(jì)后，將住房基礎(chǔ)數(shù)據(jù)錄入測(cè)評(píng)系統(tǒng)中。錄入的基礎(chǔ)數(shù)據(jù)是測(cè)評(píng)系統(tǒng)分析匹配相似房地產(chǎn)的基礎(chǔ)。測(cè)評(píng)系統(tǒng)通過(guò)對(duì)錄入的數(shù)據(jù)進(jìn)行模糊查詢，從數(shù)據(jù)庫(kù)中調(diào)用出全部與目標(biāo)房產(chǎn)具有相似度的樓房參照物，利用計(jì)算機(jī)內(nèi)部算法對(duì)參照物屬性進(jìn)行區(qū)域修正和個(gè)別因素修正等計(jì)算后，根據(jù)參照物的相應(yīng)權(quán)重，采用加權(quán)平均法計(jì)算得出評(píng)估對(duì)象的比準(zhǔn)價(jià)格。該測(cè)評(píng)系統(tǒng)在分析階段還可以與評(píng)估專家模塊相結(jié)合，利用其包含的專業(yè)知識(shí)解決在分析房地產(chǎn)價(jià)值的過(guò)程中存在的特殊、專業(yè)性的問(wèn)題，有利于提高評(píng)估的規(guī)范性和工作效率，降低業(yè)務(wù)成本。大數(shù)據(jù)數(shù)據(jù)庫(kù)的優(yōu)勢(shì)在于可以將全部既有較高相似度的房產(chǎn)數(shù)據(jù)匹配出來(lái)進(jìn)行計(jì)算，彌補(bǔ)了因人工精力有限，難以對(duì)全部具有相似屬性的房產(chǎn)進(jìn)行因素修正的缺陷。最后對(duì)結(jié)果求取加權(quán)平均值計(jì)算得出的結(jié)果區(qū)間。與人工相比利用大數(shù)據(jù)信息化所得到的結(jié)果正確率與準(zhǔn)確性更高。另外，由于大數(shù)據(jù)常與可視化工具組合完成對(duì)相關(guān)數(shù)據(jù)的分析，因此還可利用本系統(tǒng)中存在的房地產(chǎn)大數(shù)據(jù)進(jìn)行可視化分析，通過(guò)對(duì)可視化的分析結(jié)果進(jìn)行觀察，可以發(fā)現(xiàn)評(píng)估行業(yè)中普遍存在的問(wèn)題，對(duì)政府的決策、評(píng)估政策的制定等都具有一定的幫助作用。

(三)信譽(yù)反饋評(píng)估測(cè)評(píng)系統(tǒng)的信譽(yù)反饋機(jī)制是指利用系統(tǒng)價(jià)值評(píng)估階段計(jì)算得到的比準(zhǔn)價(jià)格與評(píng)估公司報(bào)告中的評(píng)估結(jié)果進(jìn)行比較，根據(jù)偏離度對(duì)評(píng)估公司進(jìn)行打分。若評(píng)估結(jié)果符合比準(zhǔn)價(jià)格或與比準(zhǔn)價(jià)格偏離度較小，則說(shuō)明評(píng)估公司的評(píng)估結(jié)果與該系統(tǒng)差異度較小，準(zhǔn)確度較高，該公司展開(kāi)評(píng)估工作較為有效，委托方可放心使用該評(píng)估結(jié)果無(wú)需重復(fù)評(píng)估。若評(píng)估結(jié)果與該比準(zhǔn)價(jià)格偏離度較大，說(shuō)明該公司的評(píng)估結(jié)果可信度較低，則監(jiān)管部門應(yīng)該對(duì)該公司的信用評(píng)級(jí)進(jìn)行扣分。由于委托方對(duì)評(píng)估公司的委托主要依據(jù)該公司評(píng)估的信用評(píng)級(jí)，當(dāng)公司的信用評(píng)級(jí)降低到一定程度后，該公司將會(huì)失去大部分的評(píng)估市場(chǎng)，只能通過(guò)降低服務(wù)價(jià)格或提高評(píng)估質(zhì)量來(lái)轉(zhuǎn)型，否則將會(huì)被市場(chǎng)淘汰。這一定程度上幫助市場(chǎng)篩選掉不符合要求的公司，從而促進(jìn)評(píng)估產(chǎn)業(yè)的可持續(xù)發(fā)展。綜上，針對(duì)監(jiān)管部門的住宅型房地產(chǎn)價(jià)值評(píng)估測(cè)評(píng)系統(tǒng)的設(shè)計(jì)，利用互聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)相結(jié)合，通過(guò)網(wǎng)絡(luò)爬蟲獲得的數(shù)據(jù)為后續(xù)分析打下了基礎(chǔ)，使得價(jià)值評(píng)估階段擁有價(jià)值較高的參考依據(jù)。計(jì)算機(jī)相較人工能夠處理更多的數(shù)據(jù)信息，得出的評(píng)估價(jià)格更精確，從而為評(píng)估公司的結(jié)果提供了參考依據(jù)。

[參考文獻(xiàn)]

[1]劉琦,童洋,魏永長(zhǎng)，等.市場(chǎng)法評(píng)估大數(shù)據(jù)資產(chǎn)的應(yīng)用[J].中國(guó)資產(chǎn)評(píng)估,2016(11):33-37.

[2]陳偉,孫夢(mèng)蝶.基于網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)審計(jì)方法研究[J].中國(guó)注冊(cè)會(huì)計(jì)師,2018(14):76-79.

[3]周云.一種基于大數(shù)據(jù)的品牌資產(chǎn)評(píng)估方法及系統(tǒng)[P].權(quán)力要求書,2016.

[4]胡蘭,段禾青.大數(shù)據(jù)時(shí)代資產(chǎn)評(píng)估行業(yè)現(xiàn)狀及發(fā)展分析[J].綠色科技,2018(23):41-42.

[5]董睿琳,董楠.基于房地產(chǎn)大數(shù)據(jù)的自動(dòng)股價(jià)系統(tǒng)研究[J].智能計(jì)算機(jī)與應(yīng)用,2019,9(3):276-280.

[6]姜楠,王景升.資產(chǎn)評(píng)估[M].大連:東北財(cái)經(jīng)大學(xué)出版社,2018:94-112.

作者：陳思宏 劉紫儀 單位：青島科技大學(xué)