- Feb 21 Mon 2022 22:00
格上私募圈 - 七大策略規模以上機構1月業績快報:市場矛盾較多,程序化期貨領漲榜單
- Feb 21 Mon 2022 22:00
核網 - 國際原子能機構表示將幫助沙特阿拉伯發展核電
來源:中核智庫
- Feb 21 Mon 2022 22:00
核網 - 首次滿功率運行!我國第二台華龍一號離投入商運又近一步
來源:福清核電
- Feb 21 Mon 2022 22:00
核網 - 關注丨核電再受重視!多省份寫入政府工作報告
來源:第一財經
- Feb 21 Mon 2022 22:00
楊不過YoungBut - 楊不過作品集©2021
- Feb 21 Mon 2022 22:00
機器之心 - 蘋果M2芯片未出先火,4款新型Mac預定搭載
- Feb 21 Mon 2022 22:00
機器之心 - 招聘 | 全職、實習、兼職編輯,和機器之心一起見證AI「虎年」
- Feb 21 Mon 2022 22:00
機器之心 - 陳丹琦組掩蔽語言模型研究引爭議:15%掩蔽率不是最佳,但40%站得住腳嗎?
前段時間,斯隆基金會公布了2022 年度斯隆研究獎的獲獎者,陳丹琦、方飛、顧全全、李博等多位研究者獲得了計算機科學領域的獎項。
在獲獎後不久,陳丹琦所在的團隊就公布了一項新研究。但和陳丹琦之前廣受讚譽的各項工作不同,這一新作受到了諸多質疑。這個工作是關於掩蔽語言建模( masked language modeling,MLM)的。掩蔽語言模型通常使用15%的掩蔽率,因為大家發現,更高的掩蔽率將不能提供足夠的上下文來學習良好的表示,而更低的掩蔽率將大幅提高訓練成本。但陳丹琦等人卻發現,如果將掩蔽率提高到40%,性能可以超過15%的基線;如果提高到80%,大部分性能仍能得以保留,這是在下游任務上進行微調測得的結果。由於和不少人自身實驗的結果並不符合,而且沒有開源代碼,所以這一研究在推特、知乎等平台上引起了很大的爭議。有人認為,這就是一個調參的結果,沒有理論依據,「黑盒的層面很多」,能不能復現也不好說。但也有人認為,如果嚴格按照論文的設置,論文的結果能夠復現,就相當於「有人事先把最優參數調出來了」,這也沒什麼不好。而且,這篇論文還能「啟發大家重新反思MLM的使用」,所以算得上是一個有價值的工作。知乎鏈接:https://www.zhihu.com/question/517319014?utm_source接下來,我們就一起來看下這項工作。
- Feb 21 Mon 2022 22:00
曾少賢 - BB幾句
- Feb 21 Mon 2022 21:33
拜金教 - NPC老渣:#20220221七分元宇宙周報(簡版)#