一
論文題目：
PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM by Knowledge Distillation with Contrastive Learning
論文摘要：
蛋白質二級結構預測（PSSP）是計算生物學的一項重要任務。為了實現準確的PSSP，許多特徵工程使用多序列比對（MSA）進行位置特異性評分矩陣（PSSM）提取。然而，由於序列同源性差，而只能獲得低質量的PSSM時，之前的PSSP準確率（僅65%左右）遠遠不能滿足後續任務的實際使用。在本文中，作者提出了一個新的PSSM-Distil框架，用於低質量的PSSM上的PSSP，它不僅增強了低層次的PSSM特徵，而且還對齊了高層次的特徵分布。在實踐中，PSSM-Distil首先利用具有高質量PSSM的蛋白質，以全監督的方式實現PSSP的教師網絡。在教師網絡的指導下，低質量的PSSM和相應的低分辨能力的學生網絡通過EnhanceNet的特徵增強和對比學習的知識提煉的分布調整得到有效解決。此外，PSSM-Distil支持來自預訓練的蛋白質序列語言BERT模型的輸入，以提供輔助信息，這是為了解決極低質量的PSSM情況，即沒有同源序列。
論文連接：
https://ojs.aaai.org/index.php/AAAI/article/view/16141/15948
Github鏈接：
https://github.com/qinwang-ai/PSSM-Distil
二
論文題目：
MolGrow: A Graph Normalizing Flow for Hierarchical Molecular Generation
論文摘要：
作者提出了一個生成分子圖的層次歸一化流模型。該模型通過遞歸地將每個節點分割為兩個節點，從一個單節點圖中生成新的分子結構。所有的操作都是可逆的，可作為即插即用模塊使用。模型將分子結構映射到一個固定大小的層次流形上，流形的頂層定義了全局結構，而底層則影響了局部特徵。潛在代碼的層次性質可以使得結果圖中發生精確的變化：頂層的擾動會導致全局結構的變化，而隨後層次的擾動會輕微地改變產生的分子。該模型在分布學習任務上優於現有的生成圖模型。作者還展示了使用模型的潛在代碼對分子的化學性質全局和約束優化的成功實驗。
論文鏈接：
https://ojs.aaai.org/index.php/AAAI/article/view/17001
三
論文題目：
Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization
論文摘要：
在本文中，作者提出了一種有效加速已被證明是變分推理和密度估計等任務的有力工具的連續歸一化流(CNF)計算的方法。CNF的訓練時間成本可能非常高，因為求解相應的常微分方程(ODE)所需的函數求值數量(NFE)非常大。作者認為高NFE是由求解ODEs的大的截斷誤差造成的。為了解決這個問題，作者建議添加一個正則化的方法。正則化懲罰了ODE的軌跡與其擬合多項式回歸之間的差異。ODE的軌跡將近似於一個多項式函數，因此截斷誤差將較小。此外，作者提供了兩個證明，證明附加的正則化不會損害訓練質量。實驗結果表明，該方法在密度估計任務下的NFE值可降低42.3%~71.3%，在變分自動編碼器上的NFE降低了19.3%-32.1%，而測試損失不受影響。
論文鏈接：
https://ojs.aaai.org/index.php/AAAI/article/view/16956
代碼鏈接：
https://github.com/hanhsienhuang/CNF-TPR
四
論文題目：
OpEvo: An Evolutionary Method for Tensor Operator Optimization
論文摘要：
深度神經網絡的訓練和推理效率高度依賴於張量算子在硬件平台上的性能。手動優化張量算子在支持新的操作符或硬件平台方面存在局限性。因此，自動優化張量算子的設備代碼配置越來越有吸引力。然而，由於組合搜索空間的存在，目前的張量算子的優化方法採集樣本效率通常較差。在這項工作中，作者提出了一種新的進化方法，OpEvo，它通過引入基於q-隨機遊走的拓撲感知突變操作，利用搜索空間上的拓撲結構，有效地探索了張量算子的搜索空間。作者的綜合實驗結果表明，與最先進的(SOTA)方法相比，OpEvo可以在固定試驗次數和壁鍾時間上找到方差最低和代價最少的最佳配置。
論文鏈接：
https://ojs.aaai.org/index.php/AAAI/article/view/17462
代碼鏈接：
https://github.com/microsoft/nni/
留言列表