
新智元報道
編輯:LRS
計算機會議上一般都會設置一個最佳論文獎,每次看到有大神獲獎是不是都有一種膜拜和學習一番的衝動?
最近有研究人員整理了過去25年(1996-2021)里計算機科學領域的主要會議的所有最佳論文,包括AAAI, ACL, CVPR, KDD, SIGIR, WWW等30個會議,讓你一次學個夠!
網址:https://jeffhuang.com/best_paper_awards/
對於沒有最佳論文獎的會議,如SIGGRAPH,CAV等,研究人員把優秀論文獎和傑出論文獎的論文放到了裡面,但最佳學生論文和十年最佳論文沒有包含在裡面。並且一些開在2021年的會議也還沒有進行更新,例如CVPR2022,AAAI2022。
下面就來一起來看看哪些華人論文能拿到最佳論文獎吧!
CVPR
最近一篇華人得獎的CVPR論文為CVPR2020,由牛津大學的Shangzhe Wu摘得。
論文地址:https://www.semanticscholar.org/paper/2245620c912d669dd6ceb325c127ecbba01b1516
他目前是牛津VGG的四年級博士生,研究側重於無監督的3D學習和反向渲染,設計無監督的算法,通過在沒有明確標註數據的情況下訓練無標註圖像和視頻上自動捕捉基於物理學的3D表示。
論文提出了一種從原始單視角(raw single-view)圖像中學習三維可變形物體類別的方法,並且無需外部標註數據。該方法基於一個自編碼器,編碼器將每個輸入圖像分為深度depth、反照率albedo、視點viewpoint和光照illumination。為了在沒有監督的情況下分解這些成分,需要利用到許多物體類別至少在原則上具有對稱結構的事實。
研究結果表明,即使物體外觀由於陰影導致看起來不是對稱的,但由於光照的推理使得模型能夠利用潛在的物體對稱性。此外,研究人員通過預測對稱性概率圖對可能是,但不一定是對稱性的物體進行建模,並與模型的其他部分進行端對端學習。
實驗結果表明,這種方法可以從單視角圖像中非常準確地恢復人臉、貓臉和汽車的三維形狀,而不需要任何監督或預先的形狀模型。在基準測試中,結果也證明了與另一種在二維圖像對應水平上使用監督的方法相比,具有更高的準確性。
ACL
ACL2021的最佳論文來自字節跳動的Jingjing Xu。
論文地址:https://aclanthology.org/2021.acl-long.571/
代碼:https://github.com/Jingjing-NLP/VOLT
token vocabulary的選擇會影響機器翻譯的性能。這篇論文旨在弄清楚什麼是好的詞彙,以及是否可以在不進行實驗訓練的情況下找到最佳詞彙。為了回答這些問題,研究人員首先從信息論的角度對詞彙進行了另一種理解,形式化vocabularization—尋找具有適當規模的最佳token vocabulary—表述為一個最優傳輸(optimal transport, OT)問題。
論文提出了一個簡單有效的解決方案VOLT,經驗結果表明,VOLT在不同的場景下的性能都比廣泛使用的詞表要好,包括WMT-14英德翻譯、TED多語翻譯。例如,VOLT在英德翻譯中實現了降低70%的詞彙量,並且提高了0.5的BLEU。此外,與BPE-search相比,VOLT將英德翻譯的搜索時間從384個GPU小時減少到30個GPU小時。
KDD
KDD2019的最佳論文來自墨爾本皇家理工大學的Yipeng Zhang.
論文地址:https://dl.acm.org/doi/10.1145/3292500.3330829
研究人員提出並研究了在考慮到impression count的情況下優化戶外廣告的影響力問題。給定一個廣告牌數據庫,每個廣告牌都有一個位置和一個非統一的成本,一個軌跡數據庫和一個預算,其目的是找到一組在預算下具有最大影響力的廣告牌。與廣告消費者行為研究一致,在定義影響力度量時,研究人員採用邏輯函數來考慮放置在不同廣告牌上的廣告對用戶軌跡的impression count。這也帶來了兩個挑戰:
(1)對於任何ε>0的多項式時間,要在O(|T|1-ε)的係數內近似,這個問題都是NP-hard的;
(2)影響力測量是non-submodular的,這意味着直接的貪婪方法是不適用的。
因此,研究人員提出了一種基於切線的算法來計算一個submodular函數來估計影響力的上限。引入了一個具有θ終止條件的分支和邊界框架,實現了θ2/(1-1/e)的近似率。
然而,當|U|很大時,這個框架很耗時。因此,研究人員用漸進式修剪上界估計方法進一步優化,實現了θ2/(1 - 1/e - ε)的近似率,並大大減少了運行時間。在真實世界的廣告牌和軌跡數據集上進行的實驗結果表明,所提出的方法在有效性上比基線要好95%。此外,優化後的方法比原來的框架要快兩個數量級。
AAAI
AAAI2021的最佳論文有兩篇,其中一篇是來自北京航空航天大學的Informer模型。
論文地址:https://www.aaai.org/AAAI21Papers/AAAI-7346.ZhouHaoyi.pdf
現實世界的應用經常需要對長序列的時間序列進行預測,例如用電規劃等。長序列時間序列預測(LSTF)要求模型具有高預測能力,即能夠有效地捕捉到輸出和輸入之間精確的長距離依賴耦合關係。一些研究表明Transformer有潛力來提高模型預測能力,但Transformer有幾個嚴重的問題使其不能直接應用於LSTF,例如二次時間複雜度,更高的內存消耗量,以及編碼器-解碼器結構的固有限制。
為了解決這些問題,研究人員設計了一個高效的基於Transformer的模型,命名為Informer,模型具有三個顯著的特點:(i) ProbSparse Self-attention機制,該機制在時間複雜度和內存使用方面達到了O(Llog L),並在序列的依賴關係對齊上性能相當不錯;(ii) 自注意力的提煉通過將級聯層的輸入減半來突出更重要的注意力,並能夠有效地處理極長的輸入序列;(iii) 生成式的風格解碼器(sytle decoder),雖然在概念上很簡單,但一次forward操作中就能預測出長時間序列的預測,而不是以逐步進行的方式,極大地提高了長序列預測的推理速度。
在四個大規模數據集上的實驗結果表明,Informer的性能明顯優於現有方法,並為LSTF問題提供了一個新的解決方案。
Microsoft奪冠
除了按照會議、年限來查看最佳論文外,製作者還對每篇最佳論文的作者研究機構進行了排序。
按照第一個作者獲得1分,第二作者0.5分,第三作者0.33分等進行打分,然後把分數進行歸一化。
製作者表示,這個排名可能不準確或不完整,也可能不會反映最佳論文獎的當前狀態,這也並非是一個官方列表,如果對此處列出的研究機構排名不滿意,那請忽略它。
可以看到微軟得分62.4,其次是華盛頓大學56.9和卡內基梅隆大學的52.2,相比之下Google得分只有21.3,還不到微軟的三分之一。
中國的研究機構前兩名分別是北京大學和清華大學,排名都在30位之後。
製作者信息
最佳論文集合的數據都是由製作者手動在網絡上搜索整理而成,可以說是相當辛苦了!
表格的製作者是Jeff Huang,目前布朗大學計算機科學系的副教授,主要研究領域是人機交互和建立基於用戶行為數據的個性化系統,並將系統應用於注意力、移動和健康領域,曾獲得美國國家科學基金會CAREER獎、Facebook獎學金和ARO青年研究者獎。
Jeff Huang博士畢業於西雅圖華盛頓大學的信息科學專業,在伊利諾伊大學厄巴納-香檳分校(UIUC)獲得計算機科學的碩士和本科學位。在入職布朗大學之前,曾在微軟研究院、谷歌、雅虎和必應分析過搜索行為;還創辦了World Blender公司,一家由Techstars支持的製作基於地理位置的手機遊戲(geolocation mobile games)。
參考資料: