大數據文摘授權轉載自AI科技評論
作者：陳彩嫻
編輯：岑峰
不久前，Meta AI 宣稱，其於去年3月提出的10億參數自監督模型 SEER （SElf-supERvised）又取得了新突破：新的 SEER 參數量翻了10倍，達到了100億參數，可以取得更優秀、更公平的性能表現！
以下我們暫且稱新的 SEER 模型為「SEER 10B」（一個牛逼不足以形容 Meta AI 在行動上落實自監督的野心，手動狗頭）。
根據 Meta AI 的團隊介紹，他們將 SEER 10B 模型在50+個基準與多個不同未標記數據集上進行了測試。其中，SEER 10B 不僅在 ImageNet 上取得了高達 85.8% 的準確率（排名第一），與原先只有 10 億參數量的 SEER （84.2%）相比性能提升了 1.6%。
此外，SEER 10B 在性別、膚色、年齡等三個公平基準上獲得了更出色的識別效果，明顯優於監督模型。
論文地址：
https://arxiv.org/pdf/2202.08360.pdf
留意 Meta AI 的朋友不難發現：最近，Meta AI 首席科學家 Yann LeCun 與 Meta 創始人扎克伯格在公開發言中堅持強調自監督學習的優越性。上周，LeCun還提到自監督與世界模型，將 AI 最終能學會像人類一樣學習與推理的希望寄托在這兩個方法上。
所謂「自監督學習」，就是 AI 系統可以直接從文本、圖像或其他類型的無標記數據中直接學習，主要針對解決監督學習所需的海量標記數據問題，因為在現實研究中，要獲取大量的標記數據難度極高。
LeCun一直認為，自監督學習是構建具有背景知識或「常識」的機器、以解決遠遠超出當今 AI 任務的最有前景的方法之一。
但同時，也有讀者評價 Meta 倡導的自監督本質上不過是強化學習。不久前，「懟王」Jürgen Schmidhuber 也發表文章，稱「All You Need Is Supervised Learning」，重申監督學習在突破 AI 瓶頸中扮演的重要角色。
勿論其他，那麼，Meta AI 在自監督學習上有哪些研究實踐？參數量翻了10倍的 SEER 模型又有哪些新花樣？一起來看看~
去年3月初，Meta AI（原 Facebook AI）發布了10億參數自監督模型 SEER，曾在 AI 領域引起廣泛關注。
據 Meta 介紹，這是他們在計算機視覺領域所取得的第一個基於自監督學習方法的成果：它可以直接從互聯網的任一隨機圖像集合中學習，無需詳細的數據管理和標記，隨後直接輸出圖像嵌入。
經過一年的提升，如今 Meta 的研究團隊將 SEER 的參數量擴大了10倍，在原有的基礎上取得了更出色的性能表現：
除了可以在無標記數據上直接學習，SEER 還可以提取更高質量的視覺特徵，以及發現現實世界大規模圖像數據集中的顯著信息，方式與人類分析所觀察事物之間的關係的方式來了解世界般相似。
注意：這些數據集的覆蓋範圍是全球數萬億張隨機、未經處理的圖像。
據悉，擴大了10倍密集參數後的 SEER 是當前規模最大的密集計算機視覺模型。
他們在 50 多個基準上檢驗了 SEER 模型的性能，包括公平性、魯棒性、細粒度識別，還在醫學成像、衛星圖像和光學字符識別 (OCR) 等領域的多個圖像分類數據集上進行了實驗。
不難想象，參數量翻倍後的 SEER 10B模型在一些挑戰性較高的任務上也取得了更優秀的表現。
首先，100億 SEER 在 ImageNet 上獲得了高達 85.8% 的準確率，排名第一！
除了在標準計算機視覺基準上的優秀表現外，SEER還擅長處理高難度任務，並提高了對域外泛化的魯棒性。
例如，它可以正確識別素描圖和藝術畫中的動物，還可以搞定常見的圖像問題，例如掩裝、模糊、遮擋、運動和怪異視角拍攝等。
SEER 10B 模型還能夠捕獲大量隨機的、未經過濾的互聯網圖像中存在的顯着信息，甚至跨越不同的地理和語言概念。
例如，即使該模型僅在沒有位置信息或其他元數據的圖像上進行訓練，它也能夠將全球多種語言的相同概念組合在一起。例如，將來自世界各地的「婚禮」概念嵌入到模型的特徵空間中。
除了性能的突破，Meta AI 還稱：SEER 10B 模型能取得更公平的效果。
他們使用 Meta 新開源的 Casual Conversations 數據集以及他們最近為CV模型提出的新公平基準對 SEER 進行測試，發現與較小的 SEER 模型以及 ImageNet 訓練的監督和自監督模型相比，SEER 10B 模型能更準確地識別這些社會成員屬性，適用於不同性別、膚色和年齡的人。
圖註：該圖使用 Casual Conversations 數據集顯示了性別檢索的準確性
此外，他們使用 Casual Conversations 數據集評估了模型標籤的錯誤率，例如在給定特定的人像中預測「非人類」或「犯罪」等標籤。研究表明，SEER 10B 問題不大，但在 ImageNet 上訓練的監督模型卻產生了大量的錯誤關聯。
圖註：該圖顯示了 SEER 模型對不同人群的關聯預測錯誤率
SEER 10B模型還不僅適用於歐美國家的圖像示例，還適用於全球各地收入水平中下的地區，以前所未有的精度對圖像進行地理定位。
通過在 Gapminder 的 Dollar Street 數據集（該數據集收集了世界各地家庭中的物體圖像及家庭收入信息）上實驗，他們還發現，SEER 10B模型對識別全球中低收入家庭與非西方地區家庭的性能有了大幅提升，且明顯優於10億參數的 SEER 與其他監督方法。
圖註：在 Meta AI 於 2020 年創建的數據集 Hateful Memes 上檢測多模態（圖像 + 文本）仇恨言論時，SEER 10B 的表現也優於受監督的 ImageNet 訓練模型 2 個百分點。
Meta AI 的研究團隊表示，秉着「負責任地開發 AI 系統」的原則，他們還對 SEER 10B模型進行了對抗性攻擊，以保護訓練數據的隱私安全。
他們在 Meta 的開源工具 Privacy Linter 上進行了測試，發現攻擊的準確度（50.02%）僅略高於完全隨機猜測，而隨機攻擊的準確度對於相同大小的訓練集，準確度為 50%。
此外，他們計算了不同召回級別的精度，以確保沒有訓練圖像在低召回級別中暴露——這種情況可能發生在所有得分最高的樣本都屬於訓練集時；同時，精度低於 50.15% 適用於所有級別的召回（包括最低級別）。
圖註：由於 SEER 不依賴於標記數據集，所以它能夠在一組比 ImageNet 的地理多樣性更優的示例上訓練模型
為了測試模型在對抗性攻擊中的魯棒性，他們將模型用於識別模糊、插入、已被裁剪或經過其他編輯的扭曲圖像。其中，SEER 10B在 CopyDays 基準測試中實現了 90.6% 的平均精度，提高了 5.1%，超越了之前的最佳結果。
此外，SEER 在域外魯棒性基準上優於在 ImageNet 上訓練的最先進的自監督模型，並且隨着規模的增大，魯棒性也不斷提高。
目前，SEER 10B 的模型權重、實現細節與技術文檔都已開放：
項目地址：
https://github.com/facebookresearch/vissl/blob/main/projects/SEER/README.md#pretrained-models-weights
自監督學習是 Meta AI 首席科學家 Yann LeCun 近年來一直力推的研究方向。早在2018年Lecun就表示，人工智能的下一個發展方向可能是放棄深度學習的所有概率技巧，轉而掌握一系列轉移能量值的方法。與「常規」的深度學習標記訓練方法相比，這一方式無需創建大量帶標籤的數據集，其基本設想是通過獲取一些豐富的原始數據（如大量Facebook Live視頻或Instagram照片）並「餵」給機器進行訓練，訓練的目標是達到能量值越小越好（即預測更為準確，與現實之間實現更好的兼容性）。
Lecun 2018年在UCSB做的「Self-Supervised Learning」演講Slide
基於能量的學習早就有之。在AI研究中，「能量函數」是一個上世紀80年代一度流行的「上古」概念，由美國生物物理學家霍普菲爾德（John Hopfield）發明的「霍普菲爾德神經網絡」（HNN）引入並普及。Lecun認為，監督學習無法獲得像人類一樣可以泛化的智能，當 AI 系統不再需要監督學習時，下一次 AI 革命就會到來，而基於能量的學習正是「減少監督」的有效實現方式。
Lecun的這一思路，在他上周接受 IEEE Spectrum 的訪談中也可見一斑。他認為AI想要突破現在的瓶頸，必須讓機器學習世界模型，從而能夠填補缺失的信息，預測將要發生的事情，並預測行動的影響。這種學習範式與預測架構的不同，或許也是不久前Lecun對OpenAI創始人Ilya Sutskever提出的「大型神經網絡可能有意識」堅決說不的原因。
在Lecun的力推下，META圍繞自監督模型取得了一系列的研究成果（例如最近推出的多模態自監督學習新架構deta2vec等）。這種通過自監督學習「觀察世界並學習」、最終實現像人類一樣泛化的智能的學習方式，一方面可以最大程度利用META豐富的數據資源，同時也是META搶先打造元宇宙世界、加速數字世界與現實世界融合的重要技術手段。
Meta AI Research 團隊也表示，計算機視覺的發展是構建元宇宙的重要步驟，而自監督視覺模型 SEER 的增強無疑為元宇宙的更上一層樓作了鋪墊。
舉例來說，如果要打造一幅能夠幫你導航尋找鑰匙或教你如何做飯的 AR 眼鏡，那麼就需要機器能夠像人類一樣理解視覺世界。這些機器不單單要能在堪薩斯州和日本京都的廚房中工作，還要在吉隆坡、北京、紐約等等世界各地的廚房中工作，這就需要機器能識別常見物體的多種模樣。而 SEER 10B 在多種不同數據集中的強大性能為實現突破提供了可能。
參考鏈接：
留言列表