0
導讀
圖結構廣泛存在於我們的生活中,大到社交網絡,小到化學分子結構,而圖學習則是指在這些圖結構上的機器學習,是目前最火爆的AI研究領域之一。
12月18日,9:00-12:30,在DataFunCon大會上,由百度主任架構師馮仕堃老師出品的圖學習論壇,將與大家見面,從架構、算法、應用多個維度來全方面闡述圖學習技術在學術界和工業界的最新的進展,期待和聽眾一起總結過去展望未來。
下面,就為大家帶來本次論壇的詳細介紹:
1
出品人
2
分享嘉賓
1. 麥絡 愛丁堡大學 助理教授
演講議題:Quiver-單機多卡GNN訓練加速系統
演講議題介紹:Sample-Based的圖模型訓練中,採樣和特徵聚合成為了較大的性能瓶頸。我們提出了Quiver以大幅度加速圖模型的訓練中的數據預處理速度。本次分享中,我們將着重介紹我們在Out-Of-Core的GPU圖採樣以及特徵聚合方面的探索和工作, Quiver在單機多卡上的擴展性以及性能都具有非常好的性能。
聽眾收益:
聽眾將對使用GPU進行高效的圖模型訓練數據預處理有較為深刻的理解,並且可以直接借鑑使用在公司內部訓練系統的研發
對圖學習模型訓練中的性能瓶頸有更深刻的理解
新技術/實用技術點:
GPU的Unified Virtual Addressing技術可以把部分CPU內存映射到GPU進程的地址空間,這樣GPU上執行的Kernel可以直接訪問CPU同學內存。
圖劃分算法如:Metis劃分算法、Random Partition算法。
個人簡介:麥絡是愛丁堡大學信息學院助理教授,領導大規模AI系統團隊。其在帝國理工學院獲得博士學位,博士期間獲得Google Fellowship資助。麥絡在的研究成果多次發表在國際知名的數據庫,機器學習和計算機系統會議。其相關的機器學習系統研究成果已經成為知名的開源項目,如Quiver, KungFu和TensorLayer。
2. 黃正杰 百度 資深研發工程師
演講議題:百度圖學習技術與應用
演講議題介紹:本次分享將會介紹圖學習以及圖神經網絡技術在百度是如何應用落地的。
聽眾收益:本次議題將會介紹圖神經網絡和圖學習技術在百度應用以及落地。其中包括介紹百度自研的圖神經網絡框架PGL;圖神經網絡推薦系統工具Graph4Rec的技術及應用;知識增強文本圖模型ERNIE-Sage的技術及應用。
新技術/實用技術點:圖神經網絡、預訓練模型、分布式機器學習
個人簡介:黃正杰,百度自然語言處理部資深研發工程師,畢業於中山大學,長期深耕語義表示計算、圖學習等領域的研發工作,目前是飛槳圖學習框架PGL負責人,並負責相關工作在百度搜索、信息流、商業廣告等核心產品的應用落地。在KDDCup-2021圖學習比賽獲得2個賽道冠軍,在人工智能頂級會議KDD、IJCAI等有多篇發表多篇學術論文,擁有多項相關專利。
3. 張志強 螞蟻集團 高級算法專家
演講議題:圖學習在數字金融場景的應用
演講議題介紹:螞蟻集團的數字生活、數字金融場景沉澱了萬億級海量的圖結構數據,深入挖掘其中蘊含的信息可帶來巨大的經濟和社會效益。本次分享主要聚焦過去幾年螞蟻集團自研的圖學習技術,包括圖學習算法、超大規模圖學習系統,以及在數字生活、數字金融等工業場景的應用落地。
聽眾收益:
了解工業場景下圖結構數據的特性,以及如何有針對性地設計工業級圖學習算法
了解工業應用對圖學習系統的要求,以及如何設計能支撐萬億規模圖數據的圖學習系統
了解圖學習技術如何被應用於金融風控、推薦營銷等數字金融場景
新技術/實用技術點:圖神經網絡、搜索推薦、金融風險分析、圖學習系統
個人簡介:2016年碩士畢業於北京郵電大學,目前是螞蟻集團圖學習方向技術負責人,高級算法專家。主要研究方向包括圖學習算法、系統及其在工業場景的應用,在NIPS、KDD、VLDB、AAAI等國際會議發表論文30餘篇,獲人工智能學會2020年「吳文俊人工智能科技進步一等獎」。
4. 張夢迪 美團 算法專家
演講議題:美團圖學習技術探索實踐
個人簡介:張夢迪,擔任美團點評NLP中心算法專家,目前主要負責知識推理及表示學習算法研究工作,帶領團隊圍繞美團生活服務場景打造了大規模圖表徵學習平台、圖譜路徑解釋性服務,支持餐飲、酒旅、電商、配送、金融等業務中關聯數據挖掘和利用,在搜索、推薦、廣告、調度、風控、運營等系統各鏈路環節做知識增強,賦能用戶、商家、騎手。曾任金融科技公司開放數據負責人、清華大學知識圖譜工程室研究助理,聯合發起了OpenKG中文開放圖譜社區。深耕知識計算領域,發表多篇論文於KDD/ACL/ICDM/DASFFA等國際學術會議,在圖譜、搜索、問答相關領域有着豐富的實踐經驗。
5. 王敏捷亞馬遜上海人工智能研究院 資深應用科學家
演講議題:圖深度學習系統DGL介紹和展望
演講議題介紹:Deep Graph Library (DGL)是全球領先的圖深度學習框架之一,不論在學界還是業界都擁有較高的知名度和大量的用戶。本報告會回顧DGL過去近三年的開源歷程,介紹圍繞DGL所構建的開源項目和系統研究。最後我們將介紹DGL在未來邁向1.0穩定版的一些計劃和目標。
聽眾收益:從淺入深了解什麼是圖神經網絡,其基本原理和應用。學習知名圖神經網絡引擎DGL的設計理念和系統特點。了解開源項目從立項到持續演進的過程,了解DGL對於開源社區的一些維護心得。
新技術/實用技術點:對深度學習有一定了解。實踐過深度學習算法更佳。
個人簡介:王敏捷博士畢業於紐約大學計算機系系統研究實驗室,研究方向包括深度學習系統,大規模分布式機器學習等深度學習與系統的交叉領域。發起並參與多項著名開源深度學習系統。其中包括被英偉達評為「Modern AI Engine」的Minerva系統,成為亞馬遜首選深度學習框架的MXNet系統,圖神經網絡框架DGL,可微編程框架MinPy等。他同時也是開源社區DMLC的發起人之一,並在2016年獲得英偉達博士獎學金。目前擔任亞馬遜上海人工智能研究院資深應用科學家,主攻下一代深度學習框架,圖神經網絡以及開源項目及開源社區建設。
6. 任泓宇斯坦福大學 博士研究生
演講議題:Multi-hop Reasoning over Knowledge Graphs
演講議題介紹:
Learninglow-dimensionalembeddingsofknowledgegraphs(KGs)isapowerfulapproachforpredictingunobservedormissingrelationsbetweenentities.However,anopenchallengeinthisareaisdevelopingtechniquesthatcangobeyondsinglelinkpredictionandhandlemorecomplexmulti-hoplogicalqueries,whichmightinvolvemultipleunobservededges,entities,andvariables.InthistalkIpresentaframeworktoefficientlyandrobustlyanswermulti-hoplogicalqueriesonknowledgegraphs.BasedonpriorworkthatlearnsentityandrelationembeddingsonKGs,ourkeyinsightistoembedqueriesinthelatentspaceanddesignneurallogicaloperatorsthatsimulatethereallogicaloperations.Wegiverisetothefirstmulti-hopreasoningframeworkthatcanhandleallfirst-orderlogicqueriesonlarge-scaleKGs.WedemonstratetheeffectivenessandrobustnessofourapproachinthepresenceofnoiseandmissingrelationsforqueryansweringonKGs.Finally,IwillintroduceanefficientcodebaseSMORE,thefirstframeworkthatscalestheabovealgorithmstoKGswithover90millionnodes.
聽眾收益:
Recentadvancesinknowledgegraphembeddings,neuralsymbolicreasoningandbeyond.
新技術/實用技術點:
Query2box:ReasoningOverKnowledgeGraphsInVectorSpaceUsingBoxEmbeddings.H.Ren,W.Hu,J.Leskovec.ICLR,2020.BetaEmbeddingsforMulti-HopLogicalReasoninginKnowledgeGraphs.H.Ren,J.Leskovec.NeurIPS2020.SMORE:KnowledgeGraphCompletionandMulti-hopReasoninginMassiveKnowledgeGraphs.H.Ren,H.Dai,B.Dai,X.Chen,D.Zhou,J.Leskovec,D.Schuurmans.ICMLSSLworkshop2021.
個人簡介:
HongyuRenisafourthyearCSPh.D.studentatStanfordadvisedbyProf.JureLeskovec.Hisresearchinterestslieintheintersectionofgraphrepresentationlearningandneuralsymbolicreasoningonstructureddata.Hisrecentworkincludeslearningknowledgerepresentationsandadvancingmulti-hopreasoningonlarge-scaleknowledgegraphs.HisresearchissupportedbytheMasasonFoundationFellowshipandApplePhDFellowship.
3
活動報名
本次分享全程直播,免費報名,感興趣的小夥伴歡迎上車!