隨著深度學(xué)習(xí)技術(shù)在圖像分割任務(wù)中的廣泛應(yīng)用，如何準(zhǔn)確評估模型性能成為了研究的重點(diǎn)和難點(diǎn)。傳統(tǒng)的評估方法往往受限于類別分布的變化，導(dǎo)致評價(jià)結(jié)果出現(xiàn)偏差。對此，唐立娜研究員領(lǐng)銜的合作團(tuán)隊(duì)通過引入圖像分類效能（Image Classification Efficacy, ICE）指標(biāo)，提供了一種更為精細(xì)的評估框架，特別是在缺乏黃金標(biāo)準(zhǔn)的情況下。該研究系統(tǒng)應(yīng)用ICE指標(biāo)，旨在解決深度學(xué)習(xí)圖像分割模型在面對分類類別不平衡時(shí)潛在的評估難題。

在這項(xiàng)研究中，團(tuán)隊(duì)?wèi)?yīng)用多模態(tài)遙感數(shù)據(jù)（多光譜和LiDAR數(shù)據(jù)），從多個(gè)角度（單一或多個(gè)模型在同一或不同數(shù)據(jù)集上的測試，以及二分類和多分類方案）進(jìn)行了六組圖像分割實(shí)驗(yàn)，系統(tǒng)演示了ICE指標(biāo)的應(yīng)用。

通過與Precision、Recall、F-Score和Overall Accuracy等常用精度評價(jià)指標(biāo)進(jìn)行對比，ICE指標(biāo)顯示出穩(wěn)定的可靠性。此外，研究還探討了Kappa系數(shù)、ROC-AUC和PR-AUC等其他常用評估指標(biāo)的適用性，并與ICE指標(biāo)進(jìn)行了比較。研究結(jié)果顯示，ICE指標(biāo)在處理類別不平衡問題時(shí)具有明顯優(yōu)勢，該指標(biāo)能夠有效地降低類別不平衡帶來的影響，從而更加準(zhǔn)確地評估模型的性能。這種方法將有助于提高圖像分割工具的可靠性和適用性，尤其是在遙感應(yīng)用領(lǐng)域。

這項(xiàng)研究有望為圖像分割領(lǐng)域提供一項(xiàng)新的、性能更加穩(wěn)定評估工具，進(jìn)一步增強(qiáng)圖像分割工具在各種應(yīng)用中的性能和實(shí)用性。相關(guān)研究成果以Bolstering Performance Evaluation of Image Segmentation Models with Efficacy Metrics in the Absence of a Gold Standard為題發(fā)表在遙感領(lǐng)域國際頂級期刊IEEE Transactions on Geoscience and Remote Sensing上，中國科學(xué)院城市環(huán)境研究所研究員唐立娜為第一作者兼通訊作者，美國普渡大學(xué)邵金圓博士生為共同通訊作者。該研究得到了國家重點(diǎn)研發(fā)計(jì)劃（2022YFF1301303）的資助。

????論文鏈接

圖1 精度評估和模型表現(xiàn)評價(jià)流程

?