一
論文題目：
Contrastive Losses and Solution Caching for Predict-and-Optimize
論文摘要：
許多決策過程涉及到解決 一個組合優化問題，該問題的輸入不確定， 可以從歷史數據中估計。最近，這個類別的問題已經通過端到端學習方法成功地解決了，依賴於在每個epoch為每個訓練實例解決一個優化問題。在這方面，本文提供兩種不同的貢獻。首先，基於將非最優解視為負例，使用噪聲對比方法來激發一系列替代損失函數。其次，解決了所有預測和優化方法的主要瓶頸，即在訓練時頻繁重新計算最優解決方案的需求。這是通過求解器不可知的解決方案緩存方案，並通過在解決方案緩存中查找替換優化調用來實現的。該方法形式化地基於可行空間的內近似，並結合緩存查找策略，在訓練時間和損失近似的準確性之間提供一個可控的平衡 。本文的經驗表明，即使是一個非常緩慢的增長速度，也足以用計算成本的一小部分，達到最先進方法的質量。
論文鏈接：
https://www.ijcai.org/proceedings/2021/390
代碼鏈接：
https://github.com/CryoCardiogram/ijcai-cache-loss-pno
二
論文題目：
On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization
論文摘要：
人們普遍認為，正交權重對於加強動態等距和加速訓練是至關重要的。線性網絡中正交初始化所帶來的學習速度的提高已經得到了很好的證明。然而，當非線性網絡在滿足動態等距條件時也被認為是相同的，但這一論點背後的訓練動力學還沒有被徹底地探索。在這項工作中，作者研究了超寬網絡在一系列架構中的動力學，包括全連接網絡(FCNs)和卷積神經網絡(CNNs)，這些網絡通過神經切線核(NTK)進行正交初始化。通過一系列的命題和引理，作者證明了當網絡寬度為無窮大時，兩個NTKs是相等的，一個是高斯權值，一個是正交權值。此外，在訓練過程中，正交初始化的無限寬網絡的NTK理論上應該保持不變。這表明正交初始化不能加速NTK(懶惰訓練)訓練，與普遍的想法相反。為了探索在什麼情況下正交性可以加速訓練，作者在NTK制度之外進行了徹底的實證調查。研究發現，當超參數在非線性激活時達到線性狀態時，正交初始化可以提高學習速度，且學習速率大或深度大。
論文鏈接：
https://www.ijcai.org/proceedings/2021/0355.pdf
三
論文題目：
Likelihood-free Out-of-Distribution Detection with Invertible Generative Models 論文摘要：
生成模型的可能性傳統上被用作檢測非典型(out - distribution, OOD)輸入的評分。然而，最近的幾項研究發現，即使在計算可能性是可行的可逆生成模型中，這種方法也是極不可靠的。在本文中，作者提出了一個不同的基於生成模型的OOD檢測框架，該框架使用生成模型來構建一個新的表示空間，而不是直接使用它來計算典型性分數。這裡強調的是得分函數應該可以解釋為新空間中輸入和訓練數據之間的相似性。在實踐中，以可逆模型為重點，作者提出基於模型編碼器和輸入圖像的複雜性提取低維特徵(統計量)，然後使用一類支持向量機對數據進行評分。與最近提出的生成模型OOD檢測方法相反，該方法不需要計算似然值。因此，當使用具有迭代近似似然的可逆模型(如iResNet)時，它的速度要快得多，同時它的性能仍與其他相關方法相競爭。
論文鏈接：
https://www.ijcai.org/proceedings/2021/0292.pdf
四
論文題目：
Local Representation is Not Enough: Soft Point-wise Transformer for Descriptor and Detector of Local FeaturesInitialization
論文摘要：
局部特徵的描述子和檢測器已經取得了很大的進展，但仍存在一些挑戰性和棘手的局限性，如定位精度不足和非歧視性描述，特別是在重複或空白紋理區域，這些問題尚未得到很好的解決。這些局限性主要體現在粗糙特徵表示和有限的接受域上。為了解決這些問題，作者提出了一種新的用於描述符和檢測器的軟逐點表示Transformer，同時挖掘局部特徵的長期內在和跨尺度依賴性。此外，作者的模型利用了基於軟點注意的不同Transformer，大大降低了內存和計算複雜度，特別是對於高分辨率的特徵圖。此外，還構造了多層譯碼器，以保證高的檢測精度和鑑別性描述。大量的實驗表明，我們的模型在圖像匹配和虛擬定位基準上優於現有的最先進的方法。
論文鏈接：
https://www.ijcai.org/proceedings/2021/0159.pdf
留言列表