機器之心 - Max Welling作序，前高通AI研究員Jakub Tomczak新書《深度生成模型》出版－鑽石舞台

機器之心報道

編輯：蛋醬

這本書的代碼已經全部開放，讀者可以邊看邊實踐，學會實現「深度生成模型」。

今天，阿姆斯特丹自由大學助理教授、前高通 AI 研究中心研究員 Jakub Tomczak 在推特上公布了全新著作《深度生成模型》的進展，目前這本書已經正式出版。

書籍訪問地址：https://link.springer.com/book/10.1007/978-3-030-93158-2

在書的最開始，阿姆斯特丹大學機器學習研究主席、前高通技術副總裁、現微軟阿姆斯特丹實驗室首席科學家 Max Welling 寫下了序言：

過去的十年中，隨着深度學習的發展，機器學習領域取得了巨大的進步，並徹底改變了人工智能的分支領域，如計算機視覺、語音識別和自然語言處理。同時，更多的領域正在被重塑，包括機器人技術、無線通信和自然科學。

此前，大多數的進步來自監督學習，輸入 (例如一張圖片) 和目標標籤 (例如「貓」) 即可用於訓練。深度神經網絡在預測視覺場景中的物體和語言之間的轉換方面表現得出奇優秀，但是獲得標籤來訓練這樣的模型通常是耗時的、昂貴的，甚至是不道德的或者根本不可能的。

所以，研究者們已經認識到無監督 (或自監督) 方法是取得進一步進展的關鍵。這和人類的學習過程沒有什麼不同: 當人類的孩子長大後，Ta 為了理解這個世界所消耗的信息量大部分是無標籤的。又有多少人會真正告訴你「你在這個世界上看到或聽到了什麼？」人們必須在無監督的情況下學習世界的規律，通過在數據中搜索模式和結構來做到這一點，這就是人工智能模型需要借鑑的地方。

當然，對於機器人來說，理解世界是更困難的。實用的學習方法是使用大量數據的非監督式學習。這個領域已經獲得了巨大的關注，並且近來取得了驚人的進步。非監督式學習有很多種，這本書是關於概率生成模型的那一類。其目標是預估一個輸入數據的概率模型，一旦有了這樣一個模型，就可以從中生成新的樣本(比如不存在的人的新面孔圖像)。

在《深度生成模型》這本書中，作者通過結合概率模型和深度學習來處理構建人工智能系統的問題。此外，它超越了典型的預測模型，將監督學習和非監督學習結合在一起。由此產生的範式稱為「深度生成模型」，它從生成視角感知周圍的世界。該方法假設每個現象都是由一個潛在的生成過程驅動的，這個生成過程定義了隨機變量及其隨機相互作用的聯合分布，即事件發生的方式和順序。「深度」的形容來自於一個事實，即分布是用深度神經網絡參數化的。

深度生成模型有兩個顯著的特點。首先，深度神經網絡的應用允許豐富而靈活的參量化分布；其次，使用概率論建立隨機依賴關係的原則性方式確保了嚴格的公式化，並防止了推理中的潛在缺陷；此外，概率論提供了一個統一的框架，其中似然函數在量化不確定性和定義目標函數中起着關鍵作用。

《深度生成模型》這本書旨在吸引對該領域感興趣的學生、工程師和研究人員，他們在本科微積分、線性代數、概率論、機器學習、深度學習、 Python 和 PyTorch (或其他深度學習庫)編程方面有一定的數學背景。本書將吸引來自不同背景但希望了解深度生成模型的學生和研究人員，包括計算機科學、工程學、數據科學、物理學和生物信息學領域。

這本書用具體的例子和代碼片段介紹了基本概念。每個章節中涉及的代碼都已經在 Github 上公布：https://github.com/jmtomczak/intro_dgm

作者介紹

自 2019 年 11 月以來，Jakub Tomczak 是阿姆斯特丹自由大學計算智能小組的人工智能助理教授。此前，他是阿姆斯特丹高通 AI 研究中心的深度學習研究員。2016 年 10 月至 2018 年 9 月，他是阿姆斯特丹大學 Max Welling 教授小組的 Marie Sklodowska-Curie 個人研究員。

Jakub Tomczak 在波蘭的弗羅茨瓦夫大學獲得了機器學習博士學位。他的研究興趣包括概率建模、深度學習、近似貝葉斯模型和深度生成模型(特別關注變分自動編碼器和基於流的模型)。

書籍目錄

本書的目的是概述深度生成模型中最重要的技術，讓讀者能夠搭建新的模型並實現它們。書由八章組成，可以單獨閱讀，並且幾乎能夠按任何順序閱讀。第一章介紹了主題，重點介紹了深度生成模型和一般概念的重要類別。第二、三、四章討論了邊際分布的建模問題。第五章和第六章概述了聯合分布模型的內容。第七章提出了一種不通過基於似然的目標學習的潛在變量模型。最後一章闡述了深度生成模型在快速發展的神經壓縮領域中的應用。