最近，騰訊AI Lab聯合ETH證明其提出的變分估值有更低的解耦誤差和更好的估值表現兩個優異特性！其中涉及解耦性能、具有最佳可想象解耦誤差的估值等有關解耦的知識。我們一起來簡單了解一下解耦：如果在處理複雜數據時，我們能把表現較好的神經網絡和人工建模方法結合起來，可解釋性、生成和操作對象的能力、無監督特徵學習和零樣本學習的問題，都可以在一定程度上得到解決。對於微分方程和其他人工建模方法來說，圖像處理很難進行，但通過和深度學習進行結合，上述模型允許我們進行對象的生成和操作、可解釋性強，最重要的是，該模型可以在其他數據集上完成相同的工作。模型中的特徵雖然具有可解釋性，但特徵之間是相關聯的，換句話說，這些特徵是耦合在一起的。這個時候實現解耦表示十分重要，也就是讓嵌入中的每個元素對應一個單獨的影響因素，並能夠將該嵌入用於分類、生成和零樣本學習。1.Auto-Encoding Total Correlation Explanation.「我們提出了一種信息理論方法，使用多元互信息（也稱為完全相關）來表徵表徵表徵學習中的解纏和依賴性......令人驚訝的是，我們發現這個下限在某些條件下等同於變分自動編碼器（VAE）中的下限......」https://www.aminer.cn/pub/5a9cb65d17c44a376ffb8367/?f=wx2.Hyperprior Induced Unsupervised Disentanglement of Latent Representations.「我們在潛在代碼的協方差矩陣上用逆 Wishart （IW） 來擴充標準 VAE。通過調整IW參數，我們能夠鼓勵（或阻止）學習潛在維度的獨立性......我們的方法在新數據集（相關橢圓）上實現了顯着更好的解纏和重建，該數據集引入了變異因子之間的相關性......」論文下載鏈接：https://www.aminer.cn/pub/5bdc31b417c44a1f58a0b633/?f=wx3.Are Disentangled Representations Helpful for Abstract Visual Reasoning?
「我們進行了一項大規模的研究，調查解纏表示是否更適合抽象推理任務。使用兩個類似於Raven的漸進矩陣的新任務，我們評估了由360個最先進的無監督解纏模型學習的表示的有用性......」論文下載鏈接：https://www.aminer.cn/pub/5d04e8f5da56295d08dc8de5/?f=wx4.Structured Disentangled Representations
「我們提出了一個兩級分層目標，以控制變量塊和塊內單個變量之間的相對統計獨立性......對各種數據集的實驗表明，我們的目標不僅可以解開離散變量，而且這樣做還可以改善其他變量的解開，更重要的是，甚至可以推廣到看不見的因素組合......」論文下載鏈接：https://www.aminer.cn/pub/5d245b48da56295a28f8d51a/?f=wx5.Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations.
「我們對該領域的最新進展進行了冷靜的審視，並挑戰了一些常見的假設。我們首先從理論上證明，如果沒有模型和數據上的歸納偏差，解纏表示的無監督學習從根本上是不可能的......我們的研究結果表明，未來關於解纏學習的工作應該明確歸納偏差和（隱性）監督的作用，調查強制分離學習表示的具體好處，並考慮覆蓋多個數據集的可重複實驗設置......」論文下載鏈接：https://www.aminer.cn/pub/5e72342f93d709897cfbe0e5/?f=wx
留言列表