智源社區 - 直播 | 新國立尤洋：夸父AI——用於大規模並行訓練的統一深度學習系統－鑽石舞台

本期為青源LIVE第33期線上直播活動，參與直播互動討論有驚喜🎁！

Transformer架構提高了深度學習模型在計算機視覺和自然語言處理等領域的性能。與此同時，更好的性能需要更大的模型尺寸。這對於當前的加速器硬件(如GPU)的內存是一個極大的挑戰。在單GPU或單個機器上訓練像Vision Transformer、BERT和GPT這樣的大型模型是不夠理想的，因此能夠在分布式環境中簡便快速訓練模型變得尤為迫切。

本期青源Live邀請了尤洋教授，其團隊研發的統一併行訓練系統夸父AI，旨在無縫集成不同的並行化技術範例，包括數據並行、流水線並行、多張量並行和序列並行。

夸父AI文檔可於https://www.colossalai.org/ 查看。

源代碼：https://github.com/hpcaitech/ColossalAI

主講人：尤洋是新加坡國立大學計算機系的校長青年教授 (Presidential Young Professor)，加州大學伯克利分校博士。尤洋的研究專長包括高性能計算，並行算法，以及機器學習。他曾以第一作者身份獲得了國際並行與分布式處理大會(IPDPS)的Best Paper Award(0.8%獲獎率)和國際並行處理大會(ICPP)的Best Paper Award(0.3%獲獎率)。尤洋曾獲清華大學優秀畢業生，北京市優秀畢業生，國家獎學金，以及當時清華大學計算機系的西貝爾獎學金。他還在2017年獲得美國計算機協會(ACM)官網上頒給優秀在讀博士生的ACM-IEEE CS George Michael Memorial HPC Fellowship。他也獲得了頒發給伯克利優秀畢業生的Lotfi A. Zadeh Prize。他還被伯克利提名為ACM Doctoral Dissertation Award候選人(81名博士畢業生中選2人)。他在2021年被選入福布斯30歲以下精英榜 (亞洲)並獲得IEEE-CS超算傑出新人獎。

更多信息請查看研究小組主頁(https://ai.comp.nus.edu.sg/) 。

主題：夸父AI: 用於大規模並行訓練的統一深度學習系統

時間：2021年12月7日（周二）19：00~20：00

形式：線上

入會方式：

騰訊會議-ID：933-910-926

直播地址一：

https://event.baai.ac.cn/activities/209

B站直播：

http://live.bilibili.com/21484823

報告簡介:

對於分布式訓練，尤其是模型並行，通常需要掌握計算機系統和架構領域的專業知識。夸父作為深度學習框架的內核，將」系統優化」與」上層框架」和」下層硬件」解耦，以即插即用的方式，提供多維並行，大批量優化器，消除冗餘內存的zero offload等前沿技術的便捷實現。易於擴展和使用，僅需少量代碼修改，避免用戶學習複雜的分布式系統知識。