黃世澤（中凱科技股份首席技術(shù)官）受邀參加在“2024全球開發(fā)者先鋒大會”上做視覺大模型在軌道交通應(yīng)用主題報告

大會期間，同濟(jì)大學(xué)交通運(yùn)輸工程學(xué)院黃世澤副教授（中凱科技股份首席技術(shù)官）受邀參加全球開發(fā)者先鋒大會數(shù)字城軌論壇“軌交大模型與可靠性工程”。

主題報告

參與討論

論壇合照

黃世澤副教授（中凱科技股份首席技術(shù)官）在會議上發(fā)表演講“視覺大模型及其在軌道交通弓網(wǎng)視頻處理中的應(yīng)用”，介紹了團(tuán)隊長期從事的軌道交通智能運(yùn)維相關(guān)研究，以及將視覺大模型應(yīng)用在軌道交通智能運(yùn)維的相關(guān)工作，包括將Segment Anything Model（SAM)[2]應(yīng)用于弓網(wǎng)支撐裝置的分割，將Recognize Anything Model（RAM)[3]應(yīng)用于列車運(yùn)行環(huán)境的感知,以及對視覺大模型本質(zhì)安全的探究。充分利用視覺大模型的優(yōu)勢，從已有的視頻資源中挖掘大量有效信息并進(jìn)行整合，在不需額外標(biāo)注的情況下提取場景的語義信息，以輔助軌道交通智能運(yùn)維工作。

Part.1/ 成功將SAM應(yīng)用于弓網(wǎng)支撐裝置分割

1. 成功將SAM應(yīng)用于弓網(wǎng)支撐裝置分割

根據(jù)《高速鐵路接觸網(wǎng)運(yùn)行檢修規(guī)則》，接觸網(wǎng)零部件故障可能不會直接引起接觸網(wǎng)跳閘等，但卻導(dǎo)致接觸網(wǎng)系統(tǒng)整體可靠性下降，增加事故隱患，這些零部件及設(shè)備的技術(shù)狀態(tài)直接關(guān)乎高速鐵路接觸網(wǎng)的運(yùn)行安全。弓網(wǎng)支撐裝置分割效果會直接影響基于計算機(jī)視覺的零部件狀態(tài)監(jiān)測的檢測效果，從復(fù)雜多變的背景中準(zhǔn)確提取弓網(wǎng)支撐裝置是后續(xù)零部件狀態(tài)監(jiān)測的重要基礎(chǔ)。

弓網(wǎng)支撐裝置分割任務(wù)存在像素級數(shù)據(jù)標(biāo)注工作量大、背景復(fù)雜多變、天氣情況多樣、弓網(wǎng)幾何結(jié)構(gòu)多樣的問題，針對存在的難點，團(tuán)隊提出基于SAM實現(xiàn)對車載視頻的全景分割方法，實驗表明基于SAM模型的半監(jiān)督弓網(wǎng)支撐裝置分割方法效果較好，分割示例如下：

Part.2/  探索RAM對列車運(yùn)行環(huán)境的感知效果

列車運(yùn)行環(huán)境感知依賴于傳感器收集數(shù)據(jù)信息并分析，以實現(xiàn)狀態(tài)監(jiān)測和故障診斷，但存在大量“同質(zhì)化”傳感器，同時，受制于成本、空間的限制，難以布設(shè)新傳感器。海量弓網(wǎng)視頻的信息有待發(fā)掘，基于弓網(wǎng)視頻實現(xiàn)列車運(yùn)行環(huán)境感知可以充分利用現(xiàn)有資源，在不耗費額外資源的前提下實現(xiàn)對于環(huán)境的感知。傳統(tǒng)深度學(xué)習(xí)方法采用人工構(gòu)建的分類樣本集作為訓(xùn)練數(shù)據(jù)，耗時耗力，并且難以窮盡所有分類與識別環(huán)境細(xì)節(jié)。

基礎(chǔ)模型RAM擁有“識別一切”能力，無需人工標(biāo)注，可以高精度識別任何常見類別?；赗AM的識別結(jié)果，通過分析標(biāo)簽時序圖特征整體可以感知列車全過程運(yùn)行環(huán)境，感知結(jié)果與列車實際運(yùn)行環(huán)境吻合度較高，示例如下：

圖：列車運(yùn)行環(huán)境感知示例

未來，團(tuán)隊將繼續(xù)探究視覺大模型在環(huán)境感知方面的應(yīng)用，研究大模型在不同的視覺語義理解場景中的應(yīng)用，并為軌道交通領(lǐng)域的多模態(tài)融合感知提供研究基礎(chǔ)。

Part.3/ 探究視覺大模型的本質(zhì)安全威脅

團(tuán)隊聚焦列車行駛環(huán)境感知場景下的對抗樣本攻防問題，圍繞列車（有軌電車）行駛環(huán)境感知對抗樣本攻防目標(biāo)，障礙物檢測、軌行區(qū)識別以及交警指揮行為姿態(tài)估計場景，解決對抗樣本攻擊下列車行駛環(huán)境可信感知科學(xué)問題。針對SAM模型，團(tuán)隊提出具有提示間遷移性的對抗攻擊方法，攻擊效果如下：

研究表明，SAM等視覺大模型與其他深度學(xué)習(xí)方法一樣，存在對抗樣本風(fēng)險，對此，團(tuán)隊也將聚焦大模型安全性，考慮對抗樣本對于大模型的風(fēng)險，同步實現(xiàn)對抗樣本防御，為平穩(wěn)度過技術(shù)迭代升級時期提供支撐。

Part.4/ 展望

新一代模型最強(qiáng)的能力是生成，例如，Sora可以生成具有多個角色、包含特定運(yùn)動的復(fù)雜場景。這對于稀缺樣本生成擴(kuò)充、提供感知算法測試場景、自動構(gòu)建數(shù)字孿生場景均提供了潛在有力的工具。