以 GPT-3 為代表的預訓練語言模型的發展，引發對小樣本自然語言理解任務的極大關注。各種方法不斷發展並展現出日漸強大的小樣本自然語言理解性能。然而，來自清華大學、DeepMind 等團隊的研究者近期的一項研究指出：相同基準再評估結果表明，現有小樣本學習方法並不足夠穩定有效，小樣本自然語言理解發展尚面臨巨大挑戰！評價準則的差異極大阻礙了已有小樣本學習方法基於統一的標準公平比較，也無法客觀評價該領域的真實進展。近期，來自清華大學、DeepMind 等團隊研究者在論文《FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding》中指出：現有小樣本學習方法並不穩定有效，且目前已有工作不存在單一的小樣本學習方法能夠在大多數 NLU 任務上取得優勢性能。小樣本自然語言理解領域發展依然面臨着嚴峻的挑戰！該工作被 ACL2022 主會接收。
論文地址：https://arxiv.org/abs/2109.12742
項目地址：https://github.com/THUDM/FewNLU
Leaderboard 地址：https://fewnlu.github.io/
(1) 該研究提出了一個新的小樣本自然語言理解評價框架 FewNLU，並且從三個關鍵方面(即測試集小樣本學習性能、測試集和驗證集相關性、以及穩定性) 量化評估該評價準則的優勢。(2) 研究者對該領域相關工作進行重新評估，結果表明：已有工作未準確估計現有小樣本學習方法的絕對性能和相對差距；目前尚不存在單一在大多數 NLU 任務取得優勢性能的方法；不同方法的增益是優勢互補的，最佳組合模型的性能接近於全監督 NLU 系統等關鍵結論。(3) 此外本文提出 FewNLU，並構建了 Leaderboard，希望幫助促進小樣本自然語言理解領域未來研究工作的發展。初步實驗結果表明 (如表格 1 所示)，就如已有大多數工作那樣基於一組(根據既往實驗經驗) 預先固定的超參數的實驗設置，並不是最佳選擇。實驗條件的細微變化或者擾動都會帶來性能的急劇波動。基於小的驗證集在不同實驗中分別進行模型選擇是不可或缺的。
基於上述結論，本文為小樣本自然語言理解提出一種更穩健且有效的評價框架，如算法 1 所示。
該評價框架中有兩個關鍵設計選擇，分別是如何構建數據拆分以及確定關鍵搜索超參數。本文首先提出數據拆分構建的三個關鍵指標: (1) 最終測試集小樣本學習性能、 (2) 測試集和驗證集關於一個超參數空間分布的相關性、以及 (3) 關於實驗執行次數的穩定性。
基於此，本文對多種不同的數據拆分策略進行了量化實驗和討論，包括 (1) K 折交叉驗證 (K-Fold CV)[2], (2) 最短描述距離(MDL)[2]，(3) Bagging [9], (4) 隨機採樣策略 (5) 模型指導的拆分策略 (6) 以及本文提出的多次數據劃分(Multi-Splits)。實驗結果如表格 2、3 和圖 1 所示。表格 2、3 的實驗結果表明：從小樣本性能和相關性看，多次數據劃分 (Multi-Splits) 是比其他幾個基準方案更好的數據拆分策略。
此外，由圖 1 可知，Multi-Splits 的優勢還源於增大執行次數 K 的取值並不會對訓練集和驗證集的數據量產生影響，相反會進一步增加該結果的置信度，故實驗過程中總可以選擇儘可能增大 K 的取值。然而對於 CV 和 MDL，較大的 K 值會導致失敗(Failure Mode)，較小的 K 值導致高隨機性不穩定的結果；同時在實踐中很難先驗地知道應該如何取值。故 Multi-Splits 是更具實際使用意義的數據拆分策略。基於統一的評價框架下，本文對目前已有最先進的小樣本學習方法進行重新評價。本文還嘗試探索了多種不同小樣本學習方法和技術組合可以實現的最佳性能(如表格 5 中的 "Our Best" 所示)。重新評價實驗結果如表格所示。
結論 1: 小樣本學習方法的絕對性能和相對性能差異，在先前文獻中未被準確估計。此外小樣本方法（例如 ADAPET）在像 DeBERTa 這樣的大型模型上的優勢會顯著降低。半監督小樣本方法（例如 iPET 和 Noisy Student）增益在較大的模型也可以保持一致性。
結論 2: 不同小樣本學習方法的增益在很大程度上是互補的。通過將目前各種先進方法加以組合，它們可以在很大程度上實現優於任意單一方法的小樣本學習性能。目前最佳組合方法的小樣本學習性能，接近 RoBERTa 上實現的全監督性能；然而和目前 DeBERTa 上實現的最優全監督性能相比，它仍然存在較大的差異性。
結論 3: 目前已有相關工作中不存在單一的小樣本學習方法能夠在大多數 NLU 任務上取得主導性優勢性能。這為未來進一步開發出具有跨任務一致性和魯棒性的小樣本學習方法提出新的挑戰。
[1] Timo Schick and Hinrich Schütze. 2021b. It’s not just size that matters: Small language models are also few-shot learners. pages 2339–2352.[2] Ethan Perez, Douwe Kiela, and Kyunghyun Cho. 2021. True few-shot learning with language models. CoRR, abs/2105.11447.[3] Rakesh R. Menon, Mohit Bansal, Shashank Srivastava, and Colin Raffel. 2021. Improving and simplifying pattern exploiting training. CoRR, abs/2103.11955.[4] Timo Schick and Hinrich Schütze. 2021a. Exploiting cloze-questions for few-shot text classification and natural language inference. In EACL, pages 255–269. Association for Computational Linguistics.[5] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. 2021b. GPT understands, too. CoRR, abs/2103.10385.[6] Qizhe Xie, Minh-Thang Luong, Eduard H. Hovy, and Quoc V. Le. 2020. Self-training with noisy student improves imagenet classification. In CVPR, pages 10684-10695. IEEE.[7] Tianyu Gao, Adam Fisch, and Danqi Chen. 2020. Making pre-trained language models better few-shot learners. CoRR, abs/2012.15723.[8] Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q. Weinberger, and Yoav Artzi. 2020. Revisiting few-sample BERT fine-tuning. CoRR, abs/2006.05987.[9] Leo Breiman. 1996. Bagging predictors. Mach. Learn., 24(2):123–140.
©THE END
轉載請聯繫本公眾號獲得授權
投稿或尋求報道：content@jiqizhixin.com
留言列表