鑽石舞台

（本文閱讀時間：21分鐘）

微軟亞洲研究院始終關注計算機領域的前沿進展，並以論文分享會的形式為大家帶來值得關注的前沿研究，促進計算機各大領域的進步。本系列論文分享會將關注計算機領域的各大頂會，邀請論文作者以線上直播的形式與大家分享並探討論文的研究問題與研究設計。

AAAI 是由美國人工智能協會（Association for the Advance of Artificial Intelligence）主辦的人工智能領域頂級學術會議之一。AAAI 2022 將於2月22日-3月1日舉辦。本次大會共收到創紀錄的9251篇投稿，最終1349篇論文被大會接收，接收率為15.0%。其中，微軟亞洲研究院入選十餘篇論文。

直播時間：

2022年1月13日13:30-17:30

直播地址：

B 站賬號「微軟中國視頻中心」直播間

掃碼直達 B 站直播間

掃碼加入微信交流群

楊驍

微軟亞洲研究院

研究員

楊驍，微軟亞洲研究院機器學習組研究員，主要研究方向是機器學習及 AI 在金融場景中的應用。曾多次參加微軟亞洲研究院與業界頭部投資公司的合作，將多個 AI 算法落地到實際投資產品中。開發並發布了首個基於 AI 的開源量化投資平台「微礦 Qlib」 。

微礦 Qlib 地址：

https://github.com/microsoft/qlib

論文題目：

基於數據分布生成的可預測概念漂移適應

DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation

論文摘要：在時序數據中，由於環境的不穩定性，數據分布常常會隨時間變化且不可預測。這種現象被稱為概念漂移，它導致在歷史數據上訓練的模型在概念漂移後性能下降。為了應對這一問題，前人的工作會檢測概念漂移是否發生，然後調整模型以適應最近的數據分布。在很多實際場景中，環境的變化是有規律可預測的，因此可以對概念漂移的未來趨勢建模，而不僅讓模型適應最近的數據分布。我們提出了一種新方法來預測數據分布未來的變化，然後利用預測的數據分布生成新的訓練數據來學習模型以適應概念漂移，最終提升模型性能。我們在股價、電力負荷和日照輻照度三個真實場景預測任務和多個模型上進行了實驗驗證並得到了顯著提升。

代碼已開源：

https://github.com/microsoft/qlib/tree/main/examples/benchmarks_dynamic/DDG-DA

論文開創性突破與核心貢獻：我們是第一個通過建模數據分布變化來應對可預測概念漂移的方法，並在同類方法中取得了最佳性能。

孫詩昭

微軟亞洲研究院

主管研究員

孫詩昭，微軟亞洲研究院數據、知識、智能組主管研究員。她分別於2013年和2018年在南開大學信息安全系和計算機科學與技術系獲得學士和博士學位。目前工作主要集中在平面布局自動生成的算法研究和應用落地。

論文題目：

平面布局的層次化生成式建模

Coarse-to-Fine Generative Modeling for Graphic Layouts

論文摘要：平面布局的自動生成，即預測布局中各個元素的位置和大小，是人工智能領域的新興話題。本文將平面設計中的「區域」概念引入布局生成，提出了一種層次化的模型。具體來說，我們將 VAE 中的解碼器分解為兩個步驟。其中，第一個步驟預測區域，每個區域都可以看作是一個簡單的布局且比整體布局包含更少的元素，第二個步驟基於生成的區域，預測區域中每個元素的具體位置和大小。定性和定量實驗證明，本文提出的方法優於現有方法，其優勢在複雜布局生成上尤為突出。

論文開創性突破與核心貢獻：儘管人工智能在自然語言，圖像，視頻等多個傳統領域取得了耀眼的成果，其在眾多非傳統領域的表現還有待研究。本文探索了人工智能在平面布局的自動生成這個新興任務上的的可能性，並在多個基準數據集上取得了最佳效果。

王希廷

微軟亞洲研究院

主管研究員

王希廷，微軟亞洲研究院社會計算組主管研究員，研究興趣為可解釋、負責任的人工智能。王希廷分別於2011和2017年在清華大學獲得電子系學士和計算機系博士學位。她的研究成果發表在 KDD、ICML、SIGIR、TVCG 等各個數據挖掘、機器學習及可視化的頂級會議、期刊上，被引用1300餘次，還在微軟等多公司的多個產品中落地應用。兩次獲得 CCF-A 類期刊 TVCG 封面論文獎，獲得 AAAI 2021 Best SPC 獎。王希廷同時還是中國計算機學會高級會員，多次擔任 AAAI 和 IJCAI 的高級程序委員會委員，並且在 WWW、ICML、NeurIPS 等國際頂級會議中常態化擔任程序委員會委員。

論文題目：

基於推理的假新聞檢測

Towards Fine-Grained Reasoning for Fake News Detection

論文摘要：假新聞的檢測通常需要複雜的推理技巧，例如通過建模單詞級別的微妙線索，有邏輯地整合推理依據。在本文中，我們通過更好地反映人類思維的邏輯推理過程並實現對微妙線索的建模，推動假新聞檢測朝細粒度推理邁進。特別地，我們仿照人類的信息處理模型提出了一個細粒度的推理框架 FinerFact，引入了一種基於 Mutual Reinforcement 的方法來將人的知識引入模型預測中，並設計了一個帶有先驗的雙通道 Kernel Graph Network 對證據之間的細微差異進行建模。大量實驗表明，我們的模型優於當前最先進的方法，並可以提供卓越的可解釋性。

論文開創性突破與核心貢獻：論文提出了一個新穎的細粒度推理框架 FinerFact 用於假新聞檢測，得到4位評審人的一致好評。評審人充分認可了其方法的開創性與優越的可解釋性。

王婧璐

微軟亞洲研究院

主管研究員

王婧璐，微軟亞洲研究院多媒體計算組主管研究員，她於2011年在上海復旦大學獲得計算機科學與技術學士學位，並於2016年獲得香港科技大學計算機科學與工程博士學位。她的研究興趣包括視頻理解、視頻分割、3D 重建、3D 對象檢測。

論文題目：

用於在線視頻實例分割的混合實例覺知時序融合方法

Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation

論文摘要：本文提出了一種基於實例的時序內容融合方法，用於在線視頻實例分割框架。首先，我們利用圖像分割的一種表示，基於實例的全局編碼和 CNN 特徵圖來表示實例級和像素級特徵。基於這種表示，我們引入了一種無需裁剪的時序融合方法來對視頻幀之間的時間一致性進行建模。具體地，我們在實例編碼中對全局實例信息進行編碼，並通過實例編碼和 CNN 特徵圖之間的混合注意力機制建模幀間的上下文融合。利用學習到的混合時間一致性，我們能夠直接檢索和維護跨幀的實例身份，去除了先前方法中複雜的逐幀實例匹配方案。在 Youtube-VIS-19/21 數據集，我們的模型在所有在線視頻實例分割方法中取得了最佳性能。

論文開創性突破與核心貢獻：用於實時視頻實力分割的高效時序融合方法，在所有在線視頻實例分割方法中取得了最佳性能。

論文題目：

用於視頻對象分割的可靠傳播 - 校正調製網絡

Reliable Propagation-Correction Modulation for Video Object Segmentation

論文摘要：誤差傳播是視頻對象分割中一個普遍但至關重要的問題。我們的目標是通過具有高可靠性的校正機制來抑制誤差傳播。關鍵是把用可靠線索的校正過程與常規的傳播過程分開。我們引入了兩種調製器網絡，傳播和校正調製模塊，分別根據局部時間相關性和參考可靠性對目標幀特徵逐通道重新校準。具體地，我們使用級聯傳播校正方案組裝調製模塊，避免了傳播模塊對校正模塊的影響。儘管參考幀提供了可靠的線索，但它可能與目標幀非常不同，具有不完整的相關性。我們通過向維護池補充可靠的特徵補丁來增加參考線索，從而提供更全面的對象表示。我們的模型在當時的 YouTube-VOS18/19 和 DAVIS17-Val/Test 基準測試中達到了最先進的性能。

論文開創性突破與核心貢獻：簡單的設計將可靠校正模塊與預測傳播解耦，我們的模型在當時的視頻目標分割基準測試中達到了最先進的性能。

梁耀波

微軟亞洲研究院

主管研究員

梁耀波，微軟亞洲研究院自然語言處理組主管研究員，畢業於北京理工大學。他的研究興趣主要包括跨語言預訓練和智能問答。

論文題目：

XLM-K：通過多語言知識庫提高跨語言預訓練模型

XLM-K: Improving Cross-Lingual Language Model Pre-Training with Multilingual Knowledge

論文摘要：跨語言預訓練的目標是提高模型在語言之間的遷移能力，使模型可以在一種語言上訓練，然後在其他語言上直接測試。之前跨語言模型的能力主要來源於單語和雙語的普通文本。我們的工作首次提出從多語言的知識庫中來學習跨語言能力。我們提出了兩個新的預訓練任務：掩碼實體預測和客體推理。這兩個任務可以幫助模型實現更好的跨語言對齊，以及讓模型更好的記憶知識。在具體任務上的測試表明了我們的模型可以顯著提高知識相關的任務的性能，知識探針任務證明了我們模型更好的記憶了知識庫。

論文開創性突破與核心貢獻：利用結構化的多語言知識庫來提升預訓練模型，讓模型通過掌握知識來提升跨語言遷移能力。

張星星

微軟亞洲研究院

主管研究員

張星星，微軟亞洲研究院自然語言計算組主管研究員，研究興趣為自然語言生成和文本摘要。張星星於2017年博士畢業與愛丁堡大學信息學院，曾擔任 ACL 2021、INLG 2021 領域主席及 ARR 2021 執行編輯。

論文題目：

用於文本摘要任務的序列級對比學習模型

Sequence Level Contrastive Learning for Text Summarization

論文摘要：自動摘要的目的是把一篇長的文檔重寫成一段簡短的摘要保留原始文本最關鍵的信息。這個任務有一個特性即摘要是原始文檔的一個短的版本並且跟原始文檔有相近的意思。基於這個觀察，我們提出了序列級別的對比學習模型 SeqCo（Sequence-level Contrastive Learning）；具體來說，我們把原始文檔、人工標註的摘要及模型生成的摘要看作同一個語義表示的三個不同視角並在訓練過程中最大化這三者表示之間的相似性。自動評測和人工評測實驗表明 SeqCo 在多個摘要數據集上可以進一步提升基線模型 BART 的效果及提升摘要的原文忠誠度。

論文開創性突破與核心貢獻：本文把對比學習方法引入到序列到序列生成任務中。

湯傳新

微軟亞洲研究院

高級研究工程師

湯傳新，微軟亞洲研究院智能多媒體組高級研究工程師，畢業於北京大學。目前工作主要集中在視頻理解的算法研究和應用落地。

論文題目：

針對圖片識別的稀疏 MLP：自注意力真的是必要的嗎？

Sparse MLP for Image Recognition：Is Self-Attention Really Necessary?

論文摘要：Transformer 在計算機視覺領域得到了廣泛應用。本文探索自注意力機制是否真是 Vision Transformer 取得成功的關鍵因素。為此，基於現有的 MLP 的網絡架構，本文設計了一種不基於自注意力的網絡架構 sMLPNet。具體地，在進行 token 融合時，本文提出了一種稀疏的 MLP 模塊（sMLP）。對於二維的圖片 token，sMLP 分別沿着水平和垂直方向使用共享參數的一維 MLP。通過這種稀疏連接和參數共享，sMLP 可以大幅減少模型的參數和時間複雜度，從而避免MLP容易過擬合的問題。在 ImageNet-1K 數據集上，sMLPNet 達到了與基於自注意力的網絡架構相當的性能。這說明自注意力機制並不一定是必要的。代碼已開源：https://github.com/microsoft/SPACH

論文開創性突破與核心貢獻：設計了一種不基於自注意力的網絡架構，達到了與基於自注意力的方法相當的性能。證明了在圖片識別領域，自注意力並不一定是必要的。

論文題目：

當移位操作遇上視覺 Transformer：一個極度簡單的注意力機制替代物

When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism

論文摘要：注意力機制被廣泛認為是 Vision Transformer成功的關鍵。然而，注意力機制真的是 ViT 不可或缺的一部分嗎？為了揭開注意力機制的作用，我們將其簡化為一個極其簡單的操作：零 FLOP 而且零參數。具體來說，我們考慮移位操作。它不包含任何參數或算術計算。唯一的操作是在相鄰特徵之間交換一小部分通道。基於這個簡單的操作，我們構建了一個新的骨幹網絡，即 ShiftViT。令人驚訝的是，ShiftViT 在幾個視覺主流任務中表現得非常好，例如分類、檢測和分割。這些結果表明注意力機制可能不是使 ViT 成功的重要因素。它甚至可以用零參數操作代替。

論文開創性突破與核心貢獻：注意力機制可能不是使 ViT 成功的唯一因素，我們發現，哪怕使用一個零參數量、零計算量的簡單移位操作替代它，也能夠達到不錯的性能。

朱群喜

復旦大學智能複雜體系實驗室

博士後

朱群喜，復旦大學智能複雜體系實驗室博士後。2021年6月，他博士畢業於復旦大學數學科學學院應用數學專業，師從林偉教授。目前從事複雜網絡和深度學習的研究工作, 相關成果發表於國際頂級期刊 IEEE TAC、SICON、SCL、CHAOS 和人工智能會議 ICLR 2021、AAAI 2022。

論文題目：

神經分段常時滯微分方程

Neural Piecewise-Constant Delay Differential Equations

論文摘要：神經微分方程作為標準的連續深度神經網絡框架，在時間序列分析，生成模型構建，物理系統建模等領域取得了廣泛應用。但神經微分方程的微分同胚性質導致其不具備萬有逼近能力。為了克服該問題，不少學者提出了相應的連續深度神經網絡框架，比如，增維神經常微分方程、神經時滯微分方程（neural delay differential equation, NDDEs）等。本文中, 我們提出一類新的具有時滯的連續深度神經網絡，稱為神經分段常時滯微分方程（neural piecewise-constant delay differential equations, NPCDDEs）。在這裡, 與之前提出的 NDDEs 框架不同，我們將單個時滯轉換為分段常時滯（piecewise-constant delay）。經過這樣轉換後的 NPCDDEs 一方面繼承了 NDDEs 中的萬有逼近能力的優勢，另一方面，NPCDDEs 考慮了多個過去時刻的信息, 進一步提高了模型能力。通過這樣的推廣, 我們在 1 維分段常時滯種群動力學以及圖像數據集 MNIST、CIFAR10和SVHN上，證明了 NPCDDEs 的卓越性能。

論文開創性突破與核心貢獻：AAAI 論文評審人充分認可了本文提出的神經分段常時滯微分方程及相關理論分析，認為其實驗結果令人信服。

李博

新加坡南洋理工大學

博士生

李博，新加坡南洋理工大學在讀博士生，他師從劉子緯老師，研究方向為魯棒式機器學習及計算機視覺。

論文題目：

一致性信息瓶頸在域泛化中的應用

Invariant Information Bottleneck for Domain Generalization

論文摘要：一致風險最小化（IRM）是近年來出現的一種很流行的領域泛化方法。然而，對於非線性分類器來說，IRM 的損失函數很難優化，當偽一致特徵（pseudo-invariant feature）和幾何偏置（geometric-skews）存在時，通常會導致 IRM 的優化目標失效。以解決 IRM 的缺陷為出發點，本文提出了一種新的領域泛化算法，稱為一致性信息瓶頸（IIB）。我們首先提出通過優化互信息的方式實現基於因果關係的一致性預測。然後我們採用互信息的變分形式來建立非線性分類器的可優化的損失函數。其次我們提出最小化輸入與特徵表示之間的互信息來避免特徵表示存在偽一致特徵（pseudo-invariant feature）和幾何偏置（geometric-skews）。在人工設計的合成數據集上，IIB 的性能顯著優於 IRM，在真實數據集 DomainBed 上的實驗表明， IIB 在 7 個真實數據集上平均比 13 個基線方法性能高出 0.9%。

論文開創性突破與核心貢獻：

分析了 IRM 所存在的缺陷，在 IRM 的基礎上引入了信息瓶頸（Information Bottleneck），將優化目標整體寫成互信息的形式並且採用變分推斷優化互信息項。

張智傑

中科院計算所

博士生

張智傑，中科院計算所在讀博士生，導師是張家琳研究員和孫曉明研究員，研究興趣包括組合優化、算法設計和機器學習理論，相關成果發表於 SODA、ICML、AAAI 等國際會議上。

論文題目：

使用點反饋與標準離線黑箱算法的在線影響力最大化問題

Online Influence Maximization with Node-level Feedback Using Standard Offline Oracles

論文摘要：本文研究在線影響力最大化問題：玩家與未知社交網絡進行多輪交互，每輪需要選取種子集合投放信息，觀察信息傳播過程的反饋數據，據此學習網絡參數並更新選取策略，最終最小化多輪交互的累積悔值。本文針對獨立級聯（IC）和線性閾值（LT）傳播模型，各自設計了一個基於點反饋並且使用標準離線黑箱算法的最優悔值在線算法，改進了之前 IC 模型下基於邊反饋的算法和 LT 模型下使用非標準黑箱的算法。本文提出變種極大似然估計方法，並定義偽似然函數，以輔助參數估計。本文的分析能夠針對每個網絡參數得到一個置信區間。

論文開創性突破與核心貢獻：本文是第一篇應用點反饋和標準離線黑箱算法來解決 OIM 的文章，所提出的 bandit 算法具有理論合理性。同時，本文提出的使用 MLE 適應 GLB 的方法有潛力用於處理更廣泛類別的分布所產生的獎勵。

你也許還想看：