【儀表網(wǎng) 研發(fā)快訊】隨著深度學習技術(shù)在圖像分割任務(wù)中的廣泛應(yīng)用，如何準確評估模型性能成為了研究的重點和難點。傳統(tǒng)的評估方法往往受限于類別分布的變化，導致評價結(jié)果出現(xiàn)偏差。對此，唐立娜研究員領(lǐng)銜的合作團隊通過引入圖像分類效能(Image Classification Efficacy, ICE)指標，提供了一種更為精細的評估框架，特別是在缺乏黃金標準的情況下。該研究系統(tǒng)應(yīng)用ICE指標，旨在解決深度學習圖像分割模型在面對分類類別不平衡時潛在的評估難題。
 

　　在這項研究中，團隊應(yīng)用多模態(tài)遙感數(shù)據(jù)(多光譜和LiDAR數(shù)據(jù))，從多個角度(單一或多個模型在同一或不同數(shù)據(jù)集上的測試，以及二分類和多分類方案)進行了六組圖像分割實驗，系統(tǒng)演示了ICE指標的應(yīng)用。
 

　　通過與Precision、Recall、F-Score和Overall Accuracy等常用精度評價指標進行對比，ICE指標顯示出穩(wěn)定的可靠性。此外，研究還探討了Kappa系數(shù)、ROC-AUC和PR-AUC等其他常用評估指標的適用性，并與ICE指標進行了比較。研究結(jié)果顯示，ICE指標在處理類別不平衡問題時具有明顯優(yōu)勢，該指標能夠有效地降低類別不平衡帶來的影響，從而更加準確地評估模型的性能。這種方法將有助于提高圖像分割工具的可靠性和適用性，尤其是在遙感應(yīng)用領(lǐng)域。
 

　　這項研究有望為圖像分割領(lǐng)域提供一項新的、性能更加穩(wěn)定評估工具，進一步增強圖像分割工具在各種應(yīng)用中的性能和實用性。相關(guān)研究成果以Bolstering Performance Evaluation of Image Segmentation Models with Efficacy Metrics in the Absence of a Gold Standard為題發(fā)表在遙感領(lǐng)域國際頂級期刊IEEE Transactions on Geoscience and Remote Sensing上，中國科學院城市環(huán)境研究所研究員唐立娜為第一作者兼通訊作者，美國普渡大學邵金圓博士生為共同通訊作者。該研究得到了國家重點研發(fā)計劃(2022YFF1301303)的資助。
 

圖1 精度評估和模型表現(xiàn)評價流程