大數(shù)據(jù)分析模型及其在公共服務(wù)交易平臺(tái)中的應(yīng)用
公共資源交易平臺(tái)將業(yè)務(wù)情況結(jié)構(gòu)化、數(shù)據(jù)化,具有海量、多樣、異構(gòu)的特點(diǎn),是工程咨詢、采購決策的數(shù)據(jù)“富礦”。本文分析總結(jié)了產(chǎn)業(yè)云平臺(tái)數(shù)據(jù)挖掘與分析統(tǒng)計(jì)情況,匯總分析典型的大數(shù)據(jù)分析方法,并借助工程大數(shù)據(jù)、產(chǎn)業(yè)大數(shù)據(jù)等將其推廣到公共服務(wù)交易數(shù)據(jù)的分析統(tǒng)計(jì)中,讓公共服務(wù)交易平臺(tái)上的數(shù)據(jù)得以盤活并發(fā)揮重要作用,為交易參與方創(chuàng)造更大價(jià)值。
一、基于平臺(tái)分析功能的在線決策咨詢系統(tǒng)
公共資源交易平臺(tái)集成沉淀了海量的業(yè)務(wù)數(shù)據(jù),包括買賣關(guān)聯(lián)數(shù)據(jù),工程、貨物標(biāo)的信息等。公共資源交易數(shù)據(jù)雖然依法公開,但因各交易平臺(tái)系統(tǒng)設(shè)計(jì)的差異及運(yùn)管標(biāo)準(zhǔn)不統(tǒng)一等因素,整體上數(shù)據(jù)字段不統(tǒng)一,信息不完備,交易數(shù)據(jù)只是做到了存儲(chǔ),分析利用水平處于初級(jí)階段。
利用業(yè)務(wù)數(shù)據(jù)提升和改善業(yè)務(wù)模式,對(duì)于公共資源交易平臺(tái)這類電商平臺(tái)而言是水到渠成的事情。真實(shí)的業(yè)務(wù)在電商平臺(tái)上出現(xiàn)時(shí),已是經(jīng)過驗(yàn)證的結(jié)構(gòu)化數(shù)字化的數(shù)據(jù),可以直接套用挖掘模型,開發(fā)利用。據(jù)此,筆者分析梳理公共資源交易中對(duì)數(shù)據(jù)分析的業(yè)務(wù)需求,以數(shù)據(jù)化采購決策為核心,盤點(diǎn)相關(guān)的模型構(gòu)建平臺(tái)+模型數(shù)據(jù)挖掘利用模式。
(一)招標(biāo)采購決策對(duì)數(shù)據(jù)分析的具體需求
招標(biāo)采購交易涉及投資期段規(guī)劃、預(yù)算評(píng)估、方案比選、工程技術(shù)選型等決策場(chǎng)景,領(lǐng)域廣,環(huán)節(jié)多,一般缺乏數(shù)據(jù)支撐,業(yè)務(wù)數(shù)據(jù)公開卻無法享受到公共數(shù)據(jù)的決策支持。招標(biāo)采購中對(duì)數(shù)據(jù)分析的具體需求可以概括為四個(gè)方面。
1.項(xiàng)目量?jī)r(jià)評(píng)估
工程定量、招標(biāo)采購定價(jià)是工程預(yù)算環(huán)節(jié)的核心,是最需要也是最可能實(shí)現(xiàn)數(shù)據(jù)化的。利用歷史資料,根據(jù)工程作業(yè)清單、采購單由系統(tǒng)估算工程造價(jià)是大數(shù)據(jù)模型的重要應(yīng)用。特別是土建項(xiàng)目中的原材料和信息化項(xiàng)目中基礎(chǔ)軟件模塊的定額費(fèi)率等活數(shù)據(jù),作為招標(biāo)控制價(jià)、結(jié)算審核價(jià)的參考或默認(rèn)值,將大幅縮減造價(jià)咨詢周期,提高造價(jià)的速度和準(zhǔn)確度。
2.供應(yīng)商調(diào)查和風(fēng)險(xiǎn)評(píng)估
不少買方單位建立了供應(yīng)商評(píng)價(jià)和準(zhǔn)入機(jī)制,但是如果可以在線確定供應(yīng)商信譽(yù)、資質(zhì)、績(jī)效等方面的情況,讓供應(yīng)商的背景信息、財(cái)務(wù)狀況、過往業(yè)績(jī)、合同違約等數(shù)據(jù)直接顯示,可以將調(diào)查評(píng)估工作做實(shí)做細(xì)。
3.材料、工藝市場(chǎng)調(diào)研和趨勢(shì)分析
在制定采購計(jì)劃和策略時(shí),需要進(jìn)行市場(chǎng)調(diào)研和趨勢(shì)分析,了解當(dāng)前市場(chǎng)的供需情況及價(jià)格走勢(shì)。數(shù)據(jù)分析可以通過收集和分析相關(guān)市場(chǎng)數(shù)據(jù),包括價(jià)格指數(shù)、競(jìng)爭(zhēng)對(duì)手情況、行業(yè)報(bào)告等,幫助決策者做出合理的采購決策。
4.投資方案組合優(yōu)化分析
成本、效益是任何決策中必須權(quán)衡的兩個(gè)核心要素。在大數(shù)據(jù)和AI的加持下,投資方可以考慮顆粒度更細(xì)、規(guī)模更大、過程更復(fù)雜的采購方案。如根據(jù)業(yè)務(wù)領(lǐng)域和工作內(nèi)容來分拆項(xiàng)目,獨(dú)立招標(biāo),并對(duì)分項(xiàng)標(biāo)根據(jù)歷史投標(biāo)情況得到供應(yīng)商推薦。再如大數(shù)據(jù)評(píng)標(biāo),可以在平臺(tái)范圍內(nèi)對(duì)供應(yīng)商的價(jià)格、質(zhì)量、交付周期等數(shù)據(jù)綜合量化,在風(fēng)險(xiǎn)可控的條件下尋求最高投入產(chǎn)出比,或者在風(fēng)險(xiǎn)可控、達(dá)到績(jī)效目標(biāo)的限定下給出成本最優(yōu)的采購組合方案。
(二)常見的大數(shù)據(jù)模型及其在產(chǎn)業(yè)平臺(tái)上的應(yīng)用
抽取需求的共性,結(jié)合一些既有的應(yīng)用案例,可以探索得到大數(shù)據(jù)分析模型 + 公共資源交易平臺(tái)協(xié)同路徑和應(yīng)用模型:分為基于時(shí)間序列分析的數(shù)值預(yù)測(cè)、基于多變量線性回歸等參數(shù)擬合方法的分析評(píng)價(jià)以及運(yùn)用啟發(fā)式搜索實(shí)現(xiàn)投資方案組合優(yōu)化。
1.數(shù)值預(yù)報(bào):運(yùn)用時(shí)間序列分析方法
時(shí)間序列分析是一種研究時(shí)間序列數(shù)據(jù)的統(tǒng)計(jì)方法,旨在揭示數(shù)據(jù)的內(nèi)在規(guī)律和趨勢(shì)。一些產(chǎn)銷數(shù)據(jù)平臺(tái)使用平滑法抽取時(shí)間序列中的趨勢(shì)成分,建立起運(yùn)用歷史數(shù)據(jù)推斷產(chǎn)銷走向的應(yīng)用。
應(yīng)用的核心是H-P濾波平滑法。用Y表示觀測(cè)得到指標(biāo)的時(shí)間序列。如果從Y中抽取出了趨勢(shì)序列yT,則Y是圍繞yT變動(dòng)的序列,剩余的序列yR=Y-yT就是一個(gè)圍繞零上下波動(dòng)的、在整個(gè)觀測(cè)時(shí)間段上均值為零的序列,呈現(xiàn)出“白噪聲”的特性。
Hodrick和Prescott指出,對(duì)于yT平滑程度的度量,可以采用其二階差分的平方和作為指標(biāo)。yR是在整個(gè)觀測(cè)周期上均值為零的、刻畫Y對(duì)yT的偏離的時(shí)間序列。最好的趨勢(shì)分解,就是趨勢(shì)線平滑(沒有“毛刺”),而且剩余序列偏離總程度(平方和)最低,由此引出如下問題:
其中λ是反映平滑度要求的權(quán)重懲罰因子,是取值恒正的實(shí)數(shù)。λ越大,趨勢(shì)序列越平滑。
2.分析評(píng)價(jià):不斷自我優(yōu)化的評(píng)價(jià)打分模型
參數(shù)模型是一種根據(jù)歷史數(shù)據(jù)進(jìn)行參數(shù)估計(jì),并利用這些參數(shù)進(jìn)行預(yù)測(cè)的數(shù)學(xué)模型。常見的參數(shù)模型包括線性回歸模型、韋伯模型等。這些模型基于理論確定數(shù)據(jù)的模式關(guān)系式,再通過代入大量觀測(cè)數(shù)據(jù)擬合確定關(guān)系式中的待定參數(shù),確定一個(gè)統(tǒng)計(jì)意義上“最逼近”實(shí)際情況的變量關(guān)系,輸入一些變量,求取新變量給定時(shí)的因變量。
Wareconn保修云平臺(tái)基于線性回歸模型、韋伯模型,訓(xùn)練神經(jīng)網(wǎng)絡(luò),用于分析產(chǎn)品損壞的原因,并對(duì)每一批次出貨產(chǎn)品進(jìn)行可靠度統(tǒng)計(jì),有針對(duì)性地采取預(yù)防措施,提高了產(chǎn)品質(zhì)量,降低了保修服務(wù)成本??煽啃匝芯空J(rèn)為,元件的在投用后t時(shí)間內(nèi)失效的概率服從Weibull分布。
保修云平臺(tái)將Weibull分布的公式進(jìn)行變形,得到2變量線性方程組,其中的失效概率(頻次)、失效時(shí)工作的時(shí)長(zhǎng)均從保修業(yè)務(wù)資料中得到。
原式變?yōu)殛P(guān)于未知變量k和?klnλ線性關(guān)系A(chǔ)=Bk+(?klnλ)。
A、B通過業(yè)務(wù)實(shí)測(cè)數(shù)據(jù)計(jì)算得出,k、?klnλ為待定的模型參數(shù)?;诒P拊破脚_(tái)大量的保修退運(yùn)資料,可以得到許多的A、B值,代入線性回歸方程,解算得出最佳的k、?klnλ,進(jìn)而確定Weibull分布。根據(jù)分布,可以量化分析預(yù)測(cè)未來時(shí)間內(nèi)保修退運(yùn)量。
3.啟發(fā)式搜索:將多變量尋優(yōu)應(yīng)用到投資方案組合優(yōu)化
利用平臺(tái)上大量的投資數(shù)據(jù),可以對(duì)大型采購業(yè)務(wù)的內(nèi)容進(jìn)行劃分,建立標(biāo)段劃分或組合項(xiàng)目,進(jìn)而可以有針對(duì)性地實(shí)施招標(biāo)采購。在大數(shù)據(jù)的輔助下,容易建立標(biāo)段比例對(duì)項(xiàng)目整體效益指標(biāo)的經(jīng)驗(yàn)關(guān)系,將其存儲(chǔ)在數(shù)據(jù)庫中,形成效益指標(biāo)關(guān)于項(xiàng)目拆分的多元函數(shù)。運(yùn)用微粒群優(yōu)化(Particle Swarm Optimization, PSO)等啟發(fā)式搜索方法,在項(xiàng)目拆分組合的可行域中按照計(jì)算值與實(shí)際參考值之差綜合最小的原則,可以求解得到最優(yōu)投資組合。
PSO算法基于群體智能原理,通過模擬鳥群或魚群等群體的行為方式進(jìn)行搜索和優(yōu)化。在PSO中,解空間中的每個(gè)解稱為“粒子”,每個(gè)粒子根據(jù)自身的當(dāng)前位置和速度,以及整個(gè)群體的歷史最優(yōu)位置來更新自己的位置和速度。迭代計(jì)算中,粒子探索解空間全局,最終逼近最優(yōu)位置,也就是對(duì)應(yīng)最優(yōu)適應(yīng)度的解。
二、大數(shù)據(jù)模型在公共資源交易平臺(tái)上的應(yīng)用探索
大數(shù)據(jù)結(jié)合人工智能,完全“利舊”,即用成熟的經(jīng)典模型和在其他產(chǎn)業(yè)平臺(tái)得以驗(yàn)證的數(shù)據(jù)服務(wù)產(chǎn)品,即可盤活用好公共資源交易平臺(tái)的海量資源,提供統(tǒng)計(jì)指標(biāo)、動(dòng)態(tài)排名、投資咨詢等優(yōu)質(zhì)數(shù)據(jù)咨詢服務(wù)。
(一)工程成本數(shù)據(jù)庫
在信息化工程領(lǐng)域,軟件開發(fā)工作量測(cè)算與價(jià)格核算是招標(biāo)采購工作的難點(diǎn)。國際上,國際基準(zhǔn)比對(duì)標(biāo)準(zhǔn)組織從20世紀(jì)90年代就開始收集軟件歷史項(xiàng)目數(shù)據(jù),軟件產(chǎn)業(yè)發(fā)展水平較高的國家(如美國、芬蘭、印度、荷蘭、日本、韓國等)已經(jīng)建立了行業(yè)級(jí)軟件過程基準(zhǔn)數(shù)據(jù)庫。北京軟件造價(jià)評(píng)估技術(shù)聯(lián)盟指出,基準(zhǔn)比對(duì)方法的應(yīng)用離不開大量的軟件項(xiàng)目過程數(shù)據(jù)(包括項(xiàng)目規(guī)模、項(xiàng)目領(lǐng)域、開發(fā)環(huán)境、工作量生產(chǎn)率、成本、缺陷率等),在獲得較多的真實(shí)有效數(shù)據(jù)后,形成有效的基準(zhǔn)數(shù)據(jù)庫,作為衡量軟件生產(chǎn)力的基準(zhǔn)。
隨著新基建和信創(chuàng)產(chǎn)業(yè)蓬勃發(fā)展,公共資源交易平臺(tái)中與軟件相關(guān)的服務(wù)和產(chǎn)品交易迅速增長(zhǎng),公開的合同、招標(biāo)文件、投標(biāo)文件中,包含了大量實(shí)際的經(jīng)過測(cè)算和權(quán)衡的量?jī)r(jià)對(duì)應(yīng)信息。特別是規(guī)?!a(chǎn)率、工程類型—人月費(fèi)率這些指標(biāo),實(shí)際上是在一定的趨勢(shì)下有所波動(dòng)的。但由于傳統(tǒng)統(tǒng)計(jì)方式的滯后性,中國軟件行業(yè)基準(zhǔn)數(shù)據(jù)只能在次年三季度公布,存在嚴(yán)重的滯后性。如果公共資源交易平臺(tái)對(duì)業(yè)務(wù)資料進(jìn)行加工統(tǒng)計(jì),完全有可能按照季度甚至是天來更新,實(shí)現(xiàn)期貨、證券、外匯牌價(jià)一樣的軟件工程造價(jià)實(shí)時(shí)指數(shù)。
密集更新的指數(shù),為軟件相關(guān)交易創(chuàng)造了數(shù)據(jù)趨勢(shì)預(yù)測(cè)、波動(dòng)分析等形態(tài)分析的便利,同時(shí)為軟件造價(jià)的成因追溯等動(dòng)力學(xué)研究提供了基礎(chǔ)。
青矩成本管理平臺(tái)在匯集工程數(shù)據(jù)方面,有了更深入的探索。主要的成果體現(xiàn)在成本云和工程大數(shù)據(jù)平臺(tái)兩方面。成本云分析總結(jié)各類成本,提供以下3種服務(wù):①目標(biāo)成本:科學(xué)制定目標(biāo)成本,實(shí)時(shí)監(jiān)控成本執(zhí)行情況,預(yù)警異常成本狀態(tài);②合約規(guī)劃:目標(biāo)成本逐級(jí)分解,指導(dǎo)招標(biāo)管理工作;③動(dòng)態(tài)成本:實(shí)時(shí)監(jiān)控實(shí)際發(fā)生成本與目標(biāo)成本對(duì)比,動(dòng)態(tài)反映項(xiàng)目成本執(zhí)行情況。
工程大數(shù)據(jù)平臺(tái)則將工程數(shù)據(jù)標(biāo)準(zhǔn)化、結(jié)構(gòu)化,呈現(xiàn)不同工程的幾個(gè)關(guān)鍵指標(biāo),諸如建筑規(guī)模、工程造價(jià)、工程類型等,記錄清單綜合單價(jià)構(gòu)成,導(dǎo)出單位規(guī)模造價(jià)。按照清單項(xiàng)目特征,在綜合單價(jià)指標(biāo)庫中自定義查詢特定材料、項(xiàng)目或工程的單價(jià)。
(二)供應(yīng)商動(dòng)態(tài)排名與評(píng)價(jià)
招標(biāo)采購中,對(duì)于供應(yīng)商的評(píng)價(jià)是重要的基礎(chǔ)工作,同時(shí)又涉及大量數(shù)據(jù)。評(píng)價(jià)指標(biāo)完全來自供應(yīng)商的業(yè)務(wù)運(yùn)營狀況,可以采用以下交易平臺(tái)的數(shù)據(jù)進(jìn)行測(cè)算。
供應(yīng)商信譽(yù):供應(yīng)商的商業(yè)信譽(yù)、聲譽(yù)和品牌知名度。
供應(yīng)商能力:供應(yīng)商的技術(shù)實(shí)力、生產(chǎn)能力、供貨穩(wěn)定性、質(zhì)控能力。
供應(yīng)商經(jīng)驗(yàn):類似項(xiàng)目或領(lǐng)域中的經(jīng)驗(yàn)和成功案例。
交貨準(zhǔn)時(shí)性:供應(yīng)商的交貨能力和準(zhǔn)時(shí)交付的記錄。
成本效益:供應(yīng)商提供產(chǎn)品或服務(wù)的價(jià)格和性價(jià)比。
售后服務(wù):供應(yīng)商的售后服務(wù)支持和問題解決能力。
利用大數(shù)據(jù)分析技術(shù),可以根據(jù)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù),建立預(yù)測(cè)模型、關(guān)聯(lián)模型或分類模型等,以實(shí)現(xiàn)供應(yīng)商的綜合評(píng)價(jià)和排名。
動(dòng)態(tài)排名評(píng)價(jià)中,基于線性回歸分析的層次分析法(AHP)應(yīng)用較多。該方法將評(píng)價(jià)指標(biāo)進(jìn)行層次化排序,通過對(duì)各指標(biāo)的權(quán)重確定,得出供應(yīng)商的綜合評(píng)價(jià)結(jié)果。先給定一個(gè)經(jīng)驗(yàn)?zāi)P?,繼而通過大量實(shí)際數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行擬合,動(dòng)態(tài)地確定某些排名指標(biāo)占評(píng)價(jià)分?jǐn)?shù)的權(quán)重,訓(xùn)練優(yōu)化。其中訓(xùn)練方法可以使用應(yīng)用于多元函數(shù)求極值的啟發(fā)式搜索,如微粒群優(yōu)化(PSO)。
信息系統(tǒng)具備實(shí)時(shí)性和數(shù)據(jù)完備性,同時(shí)可以實(shí)現(xiàn)數(shù)據(jù)可視化與報(bào)告生成,大幅提升分析的效率與質(zhì)量。
三、總結(jié)與展望
以上簡(jiǎn)述了經(jīng)典大數(shù)據(jù)分析模型滿足招標(biāo)采購業(yè)務(wù)數(shù)據(jù)分析需求的思路與技術(shù)路線。SaaS平臺(tái)集成大數(shù)據(jù)功能的成功實(shí)踐啟示我們,經(jīng)典方法、簡(jiǎn)單模型與海量數(shù)據(jù)相得益彰,充分運(yùn)用真實(shí)海量結(jié)構(gòu)化的優(yōu)質(zhì)數(shù)據(jù),得出的分析結(jié)果可以為平臺(tái)用戶帶來顯著的降本增效效果。
不妨大膽預(yù)測(cè),未來的招標(biāo)采購,將追求以下目標(biāo),在信息化、數(shù)據(jù)化、智能化方向上跨越式發(fā)展。
(一)數(shù)據(jù)就是實(shí)際
未來,經(jīng)審核收錄在交易平臺(tái)的數(shù)據(jù)將成為最為真實(shí)鮮活的業(yè)務(wù)寫照。數(shù)據(jù)表、字段構(gòu)成時(shí)變的多維數(shù)據(jù)空間中,業(yè)務(wù)群的即時(shí)狀態(tài)被充分?jǐn)?shù)字化,其在不同業(yè)務(wù)管理維度上的“投影”就是工程項(xiàng)目臺(tái)賬、項(xiàng)目建設(shè)全過程資料和特定專業(yè)供應(yīng)商名錄。平臺(tái)用戶掌握平臺(tái)數(shù)據(jù),就掌握了招標(biāo)采購的全量信息,極大地拓展了管理的要素范圍與階段跨度。
(二)數(shù)據(jù)就是規(guī)則
新數(shù)據(jù)不斷修正模型,讓擬合參數(shù)在特定區(qū)間的擬合優(yōu)度逼近真實(shí),海量數(shù)據(jù)的產(chǎn)生,使得分析預(yù)測(cè)模型持續(xù)得到有監(jiān)督的學(xué)習(xí)訓(xùn)練,提升關(guān)聯(lián)分析的“視野”和“格局”,得以應(yīng)對(duì)更多變化。未來的招標(biāo)采購指標(biāo)、比選原則都可以通過模型來表達(dá),實(shí)現(xiàn)從拍腦袋、找專家向查數(shù)據(jù)、算指標(biāo)、問模型轉(zhuǎn)變。
(三)數(shù)據(jù)就是決策
從信息化走向數(shù)字化,人們用了大約20年的時(shí)間,而隨著大語言模型等人工智能產(chǎn)品的推廣應(yīng)用,人們正在加速邁向數(shù)據(jù)化。公共資源交易的場(chǎng)景中,每一條交易記錄都成為修正供應(yīng)商評(píng)價(jià)、行業(yè)統(tǒng)計(jì)指標(biāo)的微變量,影響著分析統(tǒng)計(jì)的結(jié)果,進(jìn)而影響到基于數(shù)據(jù)的決策。如果說“民主化”是避免個(gè)體關(guān)注指標(biāo)不當(dāng)、認(rèn)定失真的思路,那么“數(shù)據(jù)化”則是充分發(fā)揮人工智能優(yōu)勢(shì),進(jìn)一步促進(jìn)公共交易公平、公正的技術(shù)保障。
本文首發(fā)于《招標(biāo)采購管理》2024年第3期。
作者:朱海嬌 王兆甲單位:青矩技術(shù)股份有限公司