與大多數學科不同，在計算機科學領域，會議論文的分量比期刊論文分量更重。有趣的是，現在的CS頂會們，似乎對「接收率」有一種近乎偏執的追求。IJCAI的接收率，在2019年突破20%大關，達到了17.9%。並在次年以12.6%的接收率，刷新了最低紀錄。此後的兩年，接收率有所回升，分別為13.9%和15%（大約）。對此，來自加利福尼亞大學伯克利分校的Edward Lee教授，在發表於ACM SIGBED博客上的一篇文章中指出，這種「有毒的文化」已經開始在CS領域蔓延了。越來越多的人覺得，拒稿率越高，接收率越低，會議就越頂。很多時候，我們已經把「低接收率」作為評價會議質量的一個重要指標，有時甚至是首要標準。許多頂會現在都以10%級別的低接收率為榮。雖然適當控制論文接收率，可以避免一些「江湖騙子」廣撒網式的投稿泛濫，但從文化上講，這種以「多拒稿為榮」的文化，實際上助長了一種互相攻擊的氛圍。PC的目標已經變成了破壞，而不是發展。我所服務的會議並沒有吸引很多江湖騙子的投稿。被拒掉多數論文都是認真的努力，需要大量的背景工作，往往是由最有前途的年輕人做的。僅僅從我最近擔任的一個PC來看，有一些專家評審認為 「寫得很好......與會議主題高度相關的有趣主題」的論文，付出了 「了不起的努力」，但最後還是被拒了。因為目前的審稿機制實際上是挑刺式審稿，即找到拒稿的理由，而不是找接收的理由。有時一個審稿人的一條負面評價，論文就被拒了。我們當然首先希望論文能夠提供新信息，而不僅僅是過去研究的重複。但是，這個「新穎」的判定標準和使用方式有幾個問題。首先，我們中的許多人使用了實際已經過時的科學概念，即：把一個學科的進步視為新事實的增加。發文章的目的變成了將這些新事實「歸檔」，而不是用來啟發、教育和告知社會。在達爾文主張的進化過程中，大多數突變（新事物）都是有害的，不會在生態系統中持續存在。技術領域也是如此。大多數真正的新想法都是不好的，不會存活。那為什麼要把追求「新意」作為最高目標？恰恰相反，大多數好的想法在走向普及之前會被重新發明多次。需要反覆強化，才能在文化中建立起來。而我們的審稿，卻把它們扼殺掉了。更糟的是，這種對「新穎」的追求，讓我們幾乎拒絕了所有的系統性論文，建立任何系統都需要整合大量的現有技術，而所有這些現有技術對審稿人來說都是熟悉的，並以「新穎不足」被拒掉。對「新穎性」如此看重另一個原因是傳統。過去，發表文章的成本很高，發表任何重複的東西，其代價就是要犧牲其他可發表的內容。但今天，發文章基本上是免費的。另外，過去的知識學科規模小，共享一些業內公認的標準。現在的CS社區缺乏這樣的普遍標準。有時候，在三名不熟悉現有技術的審稿人看來，一些論文是「有新意」的，實則不然。強調新意的一個更站得住腳的理由是，審稿人不想浪費讀者和參會者的時間，告訴他們已經知道的東西。然而，他們沒意識到，對於大多數有新意的論文，他們甚至不想知道。想想看，如果我們接受有趣的論文而不是新穎的論文，現在的計算機學術會議會有多不一樣。實際上，大多數好的想法在回想起來都是顯而易見的，而我們在遇到這樣的想法時，很難意識到剛剛已經學到了什麼。我們的反應都是：「哦，是的，當然，的確如此」。卻沒有意識到一小時前，還根本沒有想到這個點子。我們偏愛深奧的、難以閱讀的和晦澀的東西。如果一篇論文很容易讀，就被認為是「顯而易見」的，被接收的可能性很小。另一個問題是內在的利益衝突，這種衝突一方面來自於低接收率，另一方面是因為許多審稿人和PC也要發論文，有其他額外的動機來拒掉手頭審稿的論文，以提高他們自己論文被接受的機會。雙盲評審的一個重大缺陷是，審稿人掌握權力，但不用負責任。如果你發過論文，肯定遇見過那些傲慢和錯誤的批評意見。但由於論文是提交給會議，而不是期刊，作者回應審稿人的機會是非常有限的。有些會議在評審過程中有一個 「申辯」（Rebuttal）階段，但據我的經驗，大部分情況下這只是個擺設，很少能起到什麼實際作用。這種審稿中的「拒絕文化」產生了嚴重的不利影響。這個領域裡有前途的年輕人被拒絕了一次又一次。如果他們頑強地堅持下去，也許多年後可以熬出頭。但很多人選擇了放棄，離開學術界或完全轉了行。這不能不說是個悲劇。現在的審稿機制，向作者提倡的是固執和堅持，而不是質量，而且越來越嚴重。在經歷了多輪拒稿後，年輕的研究人員最終成為PC，他們自然會產生這樣的想法：我當年遭過的罪，要讓現在這些作者都受一遍。這倡導的到底是學術審稿，還是學術欺凌？退一步講，壓低接收率，對於投稿泛濫的現象真的能遏制嗎？目前的學術界奉行的是「不發表就毀滅」的文化，所有人都以儘可能多發論文為目標，會議接收率低，怎麼辦？改，改完繼續投。但通常情況下，被拒的論文作者不會就此放棄。論文會被修改、重新提交，直到被接受。因此，PC成員被要求在幾天內審查大量論文，以至於根本無法很好地完成任務。拒掉大部分的論文，只會導致下一群PC有更多的論文要審。文化很難改變。但我們可以共同努力，尋找那些有趣的、有指導意義的、有用的或對我們社區有影響的論文。我們當然應該只發表高質量的論文，但今天，我們拒絕了許多高質量的論文。有些在審稿制度上的新思路可以緩解一些問題。包括在接受或拒絕論文時公開審稿人的名字；將每篇投稿、審稿和作者的rebuttal存檔；將審稿意見和rebuttal與論文一起發表。上面的最後一項意見，可以在不影響大會論文質量的情況下，允許一些有小缺陷的論文發表。而對論文中潛在缺陷的討論，也可以作為論文內容的一部分。如果你在PC上任職，你應該認為匿名的作者是你的同事、博士生和朋友，而不是陌生人。雙盲評審過程消除了過去可能影響我們評審的自然偏見，包括根據性別拒絕或接受來自「更好」機構的傾向。但我們已經用全面的拒絕傾向取代了這些偏見。另外，作為審稿人，應該更謹慎地使用「不夠新穎」作為拒稿理由。幾乎沒有什麼有價值的東西是真正新的，許多好的想法需要反覆強化才能流行起來。讓我們關注論文對社區的貢獻，而不是對事實「歸檔」的貢獻。Edward A. Lee從1986就開始在加利福尼亞大學伯克利分校任教，現在是UCB研究生院的教授以及Robert S. Pepper電氣工程和計算機科學（EECS）的榮譽教授。Lee教授是IEEE的研究員，曾獲得1997年Frederick Emmons Terman工程教育獎，2016年IEEE實時系統技術委員會（TCRTS）的傑出技術成就和領導獎，2018年伯克利獎，2019年IEEE網絡物理系統技術委員會（TCCPS）技術成就獎，以及2022年歐洲設計與自動化協會（EDAA）成就獎。Lee教授的研究方向網絡物理系統，該系統將物理動力學與軟件和網絡相結合。研究重點是使用確定性模型作為此類系統的工程工具包的核心部分。2005-2008年，Lee教授曾擔任加利福尼亞大學伯克利分校EE部門的主席，然後是EECS部門的主席。他領導開發了幾個有影響力的開源軟件包，特別是Ptolemy和Lingua Franca。至今，Lee教授共計發表了數百篇論文和技術報告，在世界各地做了200多場主題演講，著有7本書，並帶出了40名博士。Lee教授於1979年在耶魯大學獲得學士學位，主修計算機科學和工程及應用科學雙學位，1981年在麻省理工學院獲得EECS碩士學位，1986年在加州大學伯克利分校獲得EECS博士學位。Lee教授是BDTI公司的創始人之一，目前是該公司的高級技術顧問，並為其他一些公司提供諮詢。此前，他曾在1979年到1982年之間，擔任貝爾實驗室先進數據通信實驗室的技術員。對此，一位最近擔任了接收率約為15%的頂會（不難猜到是哪個）的程序主席辯解稱：如果一個會議的目標不僅僅是為了「認證 」某些研究，而是鼓勵發現和知識交流，以深化特定領域。這意味着不光是要選擇好的東西，還要選擇那些能與其他演講/與會者/研究課題產生最佳共鳴的。一個會議開始時可能沒有很大的聲望，但如果發表的論文開始產生影響，它便可以催化整個子領域的工作。有些會議就與「新穎性」掛鈎——ACM學術會議；有些則與「漸進式進步」掛鈎——安全領域的行業會議，如Usenix Security；有些與「最佳解釋思路」掛鈎——如Enigma。一位自稱在圈內很有名的網友，對上面那位PC的觀點進行了駁斥。他表示，自己寫論文的目的是要看到它們被傳播。頂會上接收/拒絕的過程，可謂是無稽之談，畢竟有研究表明它基本就上是隨機的。而且從評論就可以看出，有很多審稿人就沒讀過論文。而很多質量非常高的工作，也都會因此被砍掉。這種通過低錄取率來尋求聲望的自負行為，讓那些有更好的事情可做的人離開了，研究的傳播也被放緩了。另一位網友指出，可悲的是，審稿人「太長，不看」這種情況，是普遍存在的。我們不得不經常向編輯呼籲：「審稿人說我們沒有指出的問題，在第X節！給我們換一個審稿人吧」。參考資料：
https://sigbed.org/2022/08/22/the-toxic-culture-of-rejection-in-computer-science/
歡迎關注我們，了解學術圈的大小事
福利來啦！！！
募格編輯是是中國科學院旗下基金投資企業。團隊致力於為用戶提供專業的英文論文修改、潤色服務及科研學術論文翻譯服務。公司擁有1000+專業資深母語PhD編輯團隊，具有豐富的編輯經驗和專業背景，讓您的論文語言更加準確和地道，符合專業審稿人喜歡的風格，更有一套科學的質量管理體系，確保您的稿件整體質量得到提升。
論文修改潤色有標準潤色、深度潤色和高級科學潤色三種模式：
好文章需要您的點讚加在看~
↓↓↓↓
留言列表