數據派THU - 【南洋理工-CVPR2022】視覺語言模型的條件提示學習－鑽石舞台

來源：專知

本文為論文，建議閱讀5分鐘

一種名為上下文優化(CoOp)的方法將提示學習的概念引入視覺領域，以適應預訓練的視覺語言模型。

隨着功能強大的預訓練視覺語言模型(如CLIP)的興起，研究如何使這些模型適應下游數據集變得非常必要。最近提出的一種名為上下文優化(CoOp)的方法將提示學習的概念引入視覺領域，以適應預訓練的視覺語言模型。具體來說，CoOp將提示中的上下文單詞轉換為一組可學習的向量，並且僅使用少量標記的圖像進行學習，可以在經過大量調整的手動提示中實現巨大的改進。在我們的研究中，我們確定了CoOp的一個關鍵問題: 學習的上下文不能泛化到同一數據集內更廣泛的不可見類，這表明在訓練期間觀察到的CoOp基類過擬合。為了解決這個問題，我們提出了條件上下文優化(CoCoOp)，它通過進一步學習一個輕量級神經網絡來為每幅圖像生成一個輸入條件標記(向量)來擴展CoCoOp。與CoOp的靜態提示相比，我們的動態提示適應每個實例，因此對類遷移不那麼敏感。大量的實驗表明，對於不可見的類，CoCoOp的泛化效果要比CoOp好得多，甚至在單個數據集之外還顯示出很好的可遷移性; 具有較強的域泛化性能。代碼可在https://github.com/ KaiyangZhou/CoOp

https://www.zhuanzhi.ai/paper/8fc04028caefdfdb427ca26bc1005d6e