編輯：David 時光
【新智元導讀】ICML2022最終審稿結果陸續出爐，作者們開始收到官方通知，和往屆AI學術會議一樣，今年同樣少不了對審稿流程和質量的吐槽。備受關注的AI頂會之一——國際機器學習大會（ICML 2022），目前審稿流程已經結束，終審結果已經陸續出爐。ICML官方微博宣布，目前已經開始通過電郵將最終結果通知論文作者。本次ICML2022採用兩階段審稿模式，這與今年AAAI、IJCAI等會議相同，即審稿人不打分，只提供評審意見、以及對優點和缺點的權衡。另外，本次會議設立的「元審稿人」（MR）負責確保他們處理的論文得到專業評審，並在總體上得到公平對待。按照大會發布的「元審稿人」規範指導，這個職位的作用相當於「審稿人的審稿人」。具體點說，就是負責檢查審稿的質量，敦促進度落後的審稿人，讓審稿人修改質量差的審稿意見。如果一篇論文被兩個審稿人標記為第1階段拒稿，MR需要仔細評估原因，並提出相應建議。如果MR決定保守地推薦被拒稿件，要寫一份尊重他人的元審稿意見，解釋原因，並提供證據。而且在流程上，MR有兩個級別：普通MR和資深MR。PC分配每篇文章給2個審稿人和一位MR，2位審稿人出具拒稿意見後，先後交由兩級MR審查這個意見，只有所有人同意這個意見，才會給作者發拒稿通知。從設計上來看，這個機制旨在提高審稿質量，避免因為審稿人的審稿質量問題，在第一階段就拒掉潛在的好文章，畢竟第1階段就被拒的文章，是沒有rebuttal機會的。如果文章順理通過了第1階段，進入第2階段後，會為每篇文章增加一位MR，PC要確保每篇文章至少有3位審稿人，新增的審稿人需要重新審稿，不能只參考之前審稿人的意見。之後進入rebuttal階段，審稿人視情況決定是否接受意見，並交由MR閱讀審稿意見和rubuttal內容後給出MR意見，在交由資深MR審核討論、出具最終意見。最後，PC會在監督整個過程後經討論，最終接受/拒稿的最終決定，並通知作者。按照ICML2022大會官網公布的日程安排，第一階段的拒稿通知在今年3月11日起陸續發送。也就是說，如果沒有在第一階段就被拒，如果在此期間能夠說服審稿人或MR，在第二階段被拒論文還是有機會「起死回生」的。而且，從新的審稿流程上看，MR的設立從理論上讓這個機會變得更大了。畢竟，審稿人的意見和作者的rebuttal都要經過MR和資深MR的審閱和討論，而且還是兩輪。為此，知乎上出現了一個關於「如何看待ICML2022結果」的討論。無論制度設計千好萬好，歸根結底，審稿的活還是由人來干。他表示，很多審稿人還是主要看實驗和結果。「不要對審稿人有過高的期望，沒有實驗，比不過sota，都要被拉分。」他說。這一話題也引來了眾多參會者、審稿人、機器學習愛好者的興趣，目前被瀏覽次數接近27w。網友Francesco Orabona指出，他已經收到了審稿結果，但沒有大會審稿流程里說的MR意見。不過，有人回復稱，這可能是意外事故，評審結果可能也不是最終的，可能MR意見已經給了，但是作者看不見，「要不再等等」？也有人看到了MR意見，但表示和自己預想得有很大差異，大部分只有寥寥數語，且是審稿人意見的機械總結，沒有自己的理解。按照這樣的情況，MR「給審稿人糾錯」的設立初衷可能就無法實現。因為，不僅作者要看分數，審稿人要參考分數，MR也要視分數對審稿意見作出大概判斷。現在沒有分數了，可能在rebuttal環節會更加茫然，不知道從哪下嘴。網友Reinhold認為，「這沒分數讓人有點心慌」。其實，不管是對作者還是審稿人，可能都很不適應。沒有分數就沒有一個量化標準，缺失了自我評估的重要依據。儘管，沒有分數可以避免分數給人的刻板印象，但是，現在把分數取消了是不是適得其反，反而降低了審稿質量呢？有投稿人認為，此次評審的質量很低，沒有直擊論文要害，只評議邊緣問題。4月15日，一位知乎匿名用戶寫到：「他們通常停留在Problem setting的討論，涉及到technical detail的改進意見幾乎都是勉強湊數亂寫，不懂裝懂，當然有的知道自己不熟悉也不去多評價。」為什麼會出現這種「勉強湊數」的評審情況呢？可能與今年的評審機制改革有關，正如一位知乎用戶所說的：「以投稿人作為審稿人的機制，看似平攤了審稿壓力，實則增加了大量低質量評審，反而增加了隨機性和不公平性，這極有可能讓ICML的聲譽受到極大打擊。」以「以投稿人作為審稿人」的機制，必然會出現評審質量參差不齊的狀況，這似乎是可以預見的問題。在論文評審中，不乏一些評審人會使用「黑手段」來提高自己論文的知名度，比如，強制他人引用自己論文，並將此作為評審意見的一部分。總而言之，這屆機器學習頂會評審被網友狂吐槽。無論是沒有「元評審」、沒有分數，還是評審人水平低、強迫引用等情況，均遭到不少負面意見。正是因為今年大會在審稿上的機制改革，讓每個人的評審際遇不一樣。也並不是每個意見都是負面的吐槽，畢竟改變總有代價，只要文章質量好，良性的學術環境是可以共同維護的。私以為，頂級會議之所以好，是因為有好的文章，而不是因為有好的審稿人。還有網友比較心平氣和，認為投稿、審稿工作都做得不錯。我審稿的文章大多數都收到了比較詳盡的review，reviewer也在積極參與討論，我個人也投入了大量的精力參與審稿工作。同時，我也看到了一些非常優秀的作品。網友呼籲，要堅守純粹的學術之心，維護好的學術環境。對於ICML或者接下來其他的會議，無論是作者還是審稿人，都希望大家可以盡力而為，杜絕黑化，堅守自己純粹的學術之心，環境需要共同維護。正如ICML審稿指導意見中所說地那樣，「審稿永遠也不會是完美無缺的，總有一些作者最後不高興。」ICML表示，「我們想打造一個公平和透明的審稿流程，為什麼接受或被拒？對於每篇文章、作者都會被明確告知原因。」諸位，今年投稿ICML沒有？中了幾篇？對於審稿感受如何？歡迎討論。參考鏈接：
https://www.zhihu.com/question/524486916
https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf
https://www.icmlonline.com/
https://zhuanlan.zhihu.com/p/474283816#ref_2
留言列表