本期為青源LIVE第34期線上直播活動，參與直播互動討論有驚喜🎁！
結構重參數化（structural re-parameterization）指的是首先構造一系列結構（一般用於訓練），並將其參數等價轉換為另一組參數（一般用於推理），從而將這一系列結構等價轉換為另一系列結構。丁霄漢博士認為在現實場景中，訓練資源一般是相對豐富的，我們更在意推理時的開銷和性能，因此我們想要訓練時的結構較大，具備好的某種性質（更高的精度或其他有用的性質，如稀疏性），轉換得到的推理時結構較小且保留這種性質（相同的精度或其他有用的性質）。換句話說，「結構重參數化」這個詞的本意就是：用一個結構的一組參數轉換為另一組參數，並用轉換得到的參數來參數化（parameterize）另一個結構。本期青源LIVE邀請了丁霄漢博士做題為《結構重參數化與通用視覺模型的基本設計元素》的報告。主講人：丁霄漢是清華大學博士生，師從丁貴廣副教授，研究領域為神經網絡通用模型、基本工具、基礎理論。在CVPR/ICCV/ICML/NeurIPS等會議發表過一系列關於模型設計、優化、壓縮、加速的論文，建立了一個稱為結構重參數化的技術流派和體系。其中，在曠視研究院實習期間的代表作RepVGG已獲得約2100 GitHub stars。時間：2021年12月8日（周三）19：00~20：00https://event.baai.ac.cn/activities/210http://live.bilibili.com/21484823結構重參數化是一種通用方法論，可以用於涉及神經網絡的多個領域、不同模型、各種設計元素。這一方法論的核心是通過模型參數的等價轉換實現模型結構的等價轉化，從而為模型注入我們需要的某種性質或達到某種目的。其成功的應用包括：3. ResRep：重參數化與無損寬度優化（通道剪枝）RepVGG：arxiv.org/abs/2101.0369ACNet：arxiv.org/abs/1908.0393ResRep：arxiv.org/abs/2007.0326代碼鏈接：github.com/DingXiaoH在騰訊會議LIVE直播間提問參與互動，我們會從參與騰訊會議直播互動的用戶中隨機抽取幸運觀眾，送出我們的精美AI書籍（名額有限）。關注智源社區公眾號，在公眾號後台留言推薦下一期live嘉賓，推薦的嘉賓被選中後我們會贈送給您智源社區紀念品。（嘉賓推薦模板：姓名+研究方向+當前工作重點）
留言列表
留言列表