鏈接：https://www.zhihu.com/question/40910316公眾號【深度學習自然語言處理】進行排版和整理，重點觀點已標出。導師的大致意思是只有達到 state of the art 精度才能發論文，風險大，我競爭不過別人。所以導師要我引入別的數據。（就像做菜，廚藝拼不過別人，就加入新的食材。。。）我想請教大家，情況真是這樣嗎？如果精度不是最高，但是有創新點或其他優勢，並且精度比較高，有可能發論文嗎？寫paper的必要條件從來都不是刷一個state-of-the-art;
刷個state-of-the-art只是說明方法work的手段之一。
大家熟知的在計算機視覺領域比較知名的Li FeiFei教授曾經給學生發過關於什麼才是好的research以及如何寫好的paper的建議。其中兩點非常重要：Every research project and every paper should be conducted and written with one singular purpose:to genuinely advance the field of computer vision.每個研究的課題/每一篇公開的論文都應該是為了一個目的：推動計算機視覺領域的進步。
A good research project is not about the past (i.e. obtaining a higher performance than the previous N papers). It’s about the future (i.e. inspiring N future papers to follow and cite you, N->\inf).好的研究課題不應該是關於過去的（比如比過去所有的結果都高），而是關於未來的（別人可以從你的paper里受到啟發，從而去做更多的工作）。
現在即便達到sota的精度，一樣很難發表文章了，淘金熱的時間點過了，除非做工業屆不一定落地或者壓根就不感興趣的問題，諸如符號表徵和推理，dl新理論，運籌學和強化學習，融合知識和推理的推薦系統，巨大規模的圖卷積方案，還有和其它學科交叉，刷沒太有人刷的數據，比如醫療。我從一些朋友嘴裡得知，不少地方為了pr自己的AI競爭力，都是不擇手段刷出sota，團隊的積累和辛苦產出是有的，但是算法未必有重大創新。刷榜博士碩士活的也特別苦逼，儼然偽生化行業。一些非常小的細節沒注意，就會導致一周的運算都白費。不是啥地方都有工程團隊打造15分鐘imagenet，提供讓人無腦高速調參的底層，就算有，這些方案也不適用任意問題。開腦洞的算法能賽過sota，真的是可遇不可求，而且國內很多地方不給開腦洞，因為沒法階段性衡量產出，而腦洞通常是一個人業餘自娛自樂做出來的居多，腦袋後面頂着槍口絕對做不出來非線性思維的算法，不論是學術界還是工業屆。哪怕我有刷榜或者研究任務，團隊看得起我這種渣渣，讓我去接，我通常都會認慫棄坑，老老實實跑去做業務，業餘時間開腦洞自娛自樂研究我認為的true AI，比發文章過的舒坦多了。人呀，重要是要活的開心，別在一個點上硬懟。保持遠大理想，也要學會放棄眼前苟且，才能有新生。以nlp來說，neural machine translation剛出來的時候，並沒有展現出對SMT在BLEU值上的優勢，但是大家都知道神經網絡這東西，只要證明在某個方向可行，效率的提升是遲早的事，自然這種工作會收到歡迎；相反最近word embedding方面的工作，即便去把傳統的similarity，word analogy刷高，這樣的工作已經不會令人興奮。簡單粗暴地說，paper最大的賣點還是創新。paper出來挖出許多大坑，這是給別人飯碗；單純刷新soa，這是砸別人飯碗。哪種受歡迎，不言自明。(後一句純屬玩笑...)performance不好容易被challenge。做Machine Learning我不是很了解，但是如果題主是做Data Mining的，那麼你的model只要能beat其他同類型的model即可，不需要beat掉所有解決相同問題的model。所以如果你的model在理論上有很大創新，沒有同類型的model做相關問題，那麼就不存在打不贏baseline的問題了，那麼你的model就變成了baseline，你的工作就變成了開坑的工作，這是很好的。舉個例子，做如果你用Random Walk的方法做recommendation，那麼你的model只要比其他用Random Work做recommendation的工作要好就行了，至於其他什麼matrix/tensor factorization有多好你都可以不用管。當然，如果你能beat所有其他model當然是最好了。1.要是你說的發文章僅僅是一個動作，發出文章來，那沒啥必要，文章寫的很make sense，並且有insight，那就很OK了。2.假設說的是中頂會，那很有必要，現在投的文章那麼多，而且審稿人大部分都是學生（大部分導師會把審稿任務丟給學生），學生很注重performance，並且審稿任務又重，performance又是比較容易argue的點，所以極為重要。大道理其實都懂：發掘新的研究問題的角度，打開新的解決問題的思路，提供紮實可靠的理論分析，比beat SOTA重要。說白了這個問題就是diss審稿人的。本人先不站在聖賢視角，斗膽猜測之所以reviewer還是關注SOTA，可能有幾種情況。（1）真正提供啟發思想的work本來就少，但是每年投的論文那麼多（要不考慮一下明年頂會的錄取率都降到1%？），也就是說大部分工作是達不到討論思想啟發性的級別的，能在increamental的基礎上提高performance就不錯了。所以文章本身關注點就是在能不能beat SOTA上。（2）很多情況下作者是會強調自己work的effectiveness的（無論是否真的有哈）。既然強調了，那麼reviewer自然會去看。（3）畢竟現在深度學習大潮。很多模型都是看上去「好像」合理。但是是否真的有效，很難講清。故事自然好講，模型組合搭配自然好搭，但是是否真的直切要害，恐怕只能靠performance來衡量了。（4）有些文章實驗設計不合理。照理說文章的實驗應該為文章的貢獻服務。也就是說claim自己有啥貢獻，實驗就來驗證，這就與SOTA衝突不大。但有些實驗偏要畫蛇添足，想十全十美，做一些明明自己模型無法涵蓋的task，容易在與SOTA比較時出現問題。上述（2）（4）兩點，很難講跟reviewer關注SOTA是蛋生雞還是雞生蛋的問題，暫且先放這吧。根據target avenue不同而不同。有些期刊或會議偏向創新，有些則偏向應用，拿醫學圖像領域舉個例子，TMI(Transaction on medical imaging) 比起MIA(medical image analysis)相對更看重實驗結果，而非方法創新。如果更醫學一點的刊，比如最近我有研究的MRM(Magnetic Resonance in Medicine)，他們會有針對negative result的錄取：Magnetic Resonance Medicine is generally supportive of publishing papers that report negative results, provided the reviewers and editors think that they will be of value to our readership. While negative results that merely confirm generally-accepted principles are of little interest to this journal, negative results that can help resolve an ongoing scientific debate or potentially avoid substantial efforts to replicate a previously-reported positive result will be of considerable interest.——即，有價值的負面結果會被錄取，比如證明深度學習在肺癌檢測上沒用。另外，系統地說，我們發文章，講究對比實驗結果，更講究實驗結果能夠證明你的hypothesis 和 motivation 和 contribution，可比baseline，也可以比state-of-the-art。你的idea夠有創新，能自圓其說，再有理論支撐，我相信比過baseline就可以發表；倘若方法本身創新性不夠高，還比不過baseline就說不過去，往往比過state-of-the-art才有價值，畢竟這種情況大多是沿用他人方法——炒冷飯。最後，reviewer其實是很主觀的因素，reviewer確實可能會因為不喜歡這個idea或者不熟悉這個領域而拒掉一篇「結果不太strong，但idea還不錯」的文章，但是如果實驗夠solid，ablation study、多個metric，多個數據集、理論支撐、等方面都有闡述自己的創新性，被拒的可能性則會大大減小。往期精彩：
講解視頻來了！機器學習 公式推導與代碼實現開錄！
更新！《機器學習：公式推導與代碼實現》1-16章PPT下載
《機器學習 公式推導與代碼實現》隨書PPT示例
時隔一年！深度學習語義分割理論與代碼實踐指南.pdf第二版來了！
新書首發 | 《機器學習 公式推導與代碼實現》正式出版！
《機器學習公式推導與代碼實現》將會配套PPT和視頻講解！
留言列表