美國東北大學王言治教授、林雪教授研究組與威廉瑪麗學院任彬教授研究組共同提出了一種稀疏訓練新框架 MEST,有望在邊緣設備上實現準確、快速以及內存經濟的稀疏訓練。
在剪枝技術被成功應用於神經網絡的壓縮和加速之後,稀疏訓練在近年來受到了越來越多研究者的關注,即如何從零開始直接訓練一個高質量的稀疏神經網絡。稀疏訓練旨在有效降低神經網絡訓練過程中的計算和存儲開銷,從而加速訓練過程,為在資源有限的邊緣設備上的神經網絡訓練提供了更多可能性。
美國東北大學王言治教授、林雪教授研究組與威廉瑪麗學院任彬教授研究組共同提出了一種稀疏訓練新框架 MEST,有望在邊緣設備上實現準確、快速以及內存經濟的稀疏訓練。
在剪枝技術被成功應用於神經網絡的壓縮和加速之後,稀疏訓練在近年來受到了越來越多研究者的關注,即如何從零開始直接訓練一個高質量的稀疏神經網絡。稀疏訓練旨在有效降低神經網絡訓練過程中的計算和存儲開銷,從而加速訓練過程,為在資源有限的邊緣設備上的神經網絡訓練提供了更多可能性。
作者 | 劉世錦(中國發展研究基金會副理事長、全國政協經濟委員會副主任、國務院發展研究中心原副主任)
本文系作者2021年9月4日在2021中國國際金融年度論壇上的發言
中國人有多愛買買買?
好朋友Vala邀請我進入她的「對話創造者」系列採訪,我這期的主題是「在逆境中,用愛創造新的天地」。
她在直播中問我,你是從哪裡獲得,在無論什麼樣的逆境中,也有源源不斷的愛自己和他人的力量?
今日長難句
When people in developing countries worry about migration, they are usually concerned at the prospect of their best and brightest departure to Silicon Valley or to hospitals and universities in developed world.(翻譯. 2012. 英二)
zip() 是 Python 中最好用的內置類型之一,它可以接收多個可迭代對象參數,再返回一個迭代器,可以把不同可迭代對象的元素組合起來。
我之前寫迭代器系列的時候,在《Python進階:設計模式之迭代器模式》中簡單地介紹過它,前幾天翻譯了 Python 3.10 採納的 PEP-618 ,介紹了它將會迎來的變更。