創新創業中關村 - 共築AI安全，安享智能未來：首屆人工智能安全大賽在京落幕－鑽石舞台

近日，以「共築AI安全安享智能未來」為主題的AISC首屆人工智能安全大賽在京落幕。中科院院士、清華大學人工智能研究院名譽院長張鈸，北京市科學技術委員會、中關村科技園區管理委員會黨組成員、副主任張宇蕾，北京市經濟和信息化局黨組成員、副局長潘鋒，工業和信息化部網絡安全管理局數據安全處四級調研員張洪通過線上線下的方式出席活動。

活動現場

本次大賽是由國家工業信息安全發展研究中心、清華大學人工智能研究院和北京瑞萊智慧科技有限公司等單位聯合主辦的全國性人工智能安全賽事，旨在推動人工智能攻防技術創新、實戰演練、場景挖掘和人才培養。

同期舉辦的主題論壇，邀請到多位院士專家、行業領袖、政企代表出席，共同探討如何在未來智能的全新戰場，打贏技術攻防之戰。與會專家們表示，重視人工智能安全體系建設，既是當務之急，也是長遠考慮，需加快促進人工智能安全領域關鍵技術研究與攻防實踐。

AI安全風險已非未來挑戰

而是眼前威脅

大賽工作人員演示對抗樣本攻擊人臉識別門禁系統

主辦方北京瑞萊智慧科技有限公司首席執行官田天認為，人工智能技術風險發生的範圍正隨着應用場景的日趨廣泛而逐步擴大，風險發生的可能性也隨着其應用頻次的增長而持續提高。他表示，人工智能當前的安全風險，一是技術的兩面性，存在AI濫用甚至「武器化」的問題；二是系統的風險，來自於深度學習算法本身的脆弱性。

這一漏洞在自動駕駛感知系統同樣存在，北京瑞萊智慧科技有限公司演示了用對抗樣本攻擊自動駕駛汽車。正常情況下，在識別到路障、指示牌、行人等目標後，自動駕駛車輛就會立即停車，但在目標物體上添加干擾圖案後，車輛的感知系統就會出錯，徑直撞上去。

在人工智能的全生命周期，不僅存在算法層面的安全性問題，算力作為人工智能發展的重要基礎設施，也面臨着諸多風險，推動人工智能算力基礎設施安全發展具有重要意義。活動期間，由國家工業信息安全發展研究中心牽頭，聯合華為技術有限公司和北京瑞萊智慧科技有限公司共同撰寫的《人工智能算力基礎設施安全發展白皮書》正式發布。

《人工智能算力基礎設施安全發展白皮書》正式發布

白皮書圍繞人工智能算力基礎設施安全發展的意義、內涵與體系架構、安全管理現狀、發展建議等方面展開深入研究。白皮書指出，人工智能算力基礎設施不同於傳統的算力基礎設施，既是「基礎設施」，又是「人工智能算力」，也是「公共設施」，具有基建屬性、技術屬性、公共屬性三重屬性。相應地，推動人工智能算力基礎設施安全發展應從強化自身安全、保障運行安全、助力安全合規三個方面發力，通過強化自身的可靠性、可用性與穩定性，保障算法運行時的機密性與完整性，提升用戶的安全管控力、認可度與合規性等八個領域築牢人工智能安全防線，打造可信、可用、好用的人工智能算力底座，營造安全、健康、合規發展的人工智能產業生態。

以賽促研、以賽育人

守護未來智能安全

安全的本質在於對抗升級，構建安全需要一個持續攻防演進的過程。

瑞萊智慧首席執行官田天

結合具體賽題來看，自動駕駛安全賽題和人臉識別安全賽題從攻擊視角出發，通過讓選手攻擊目標模型挖掘算法漏洞，旨在發現更加穩定的攻擊算法，以更好的實現準確評估模型的安全性。深度偽造安全賽題則通過分析偽造音視頻的相似性，來溯源不同偽造內容是否來自同一種或同一類生物特徵生成軟件，以促進對深度偽造檢測技術的發展，具有重要的現實意義。

構建人工智能的安全生態，一方面需要技術的持續演進，一方面也需要專項技術人才的建設與培養。本次大賽通過實戰演練的方式，全方位驗證和提升選手實戰能力，為培育一批高水平、高層次的人工智能安全新型人才團隊提供了「快速通道」。

自七月開啟報名以來，大賽共吸引來自全國範圍內70多所高等高校、科研院所、企業機構的超過400支團隊，共計600餘名選手的踴躍參與。經過三個月的激烈角逐，最終，上海交通大學聯合戰隊「AreYouFake」與北京交通大學戰隊「BJTU-ADaM」分別摘得深度偽造安全與自動駕駛安全賽道桂冠，北京理工大學戰隊「DeepDream」與建信金科戰隊「Tian Quan&LianYi」共同位列人臉識別賽道第一名。

深度偽造安全競賽前三名

自動駕駛安全競賽前三名

人臉識別安全競賽前三名

本次大賽提供了技術交鋒和思維碰撞的平台，通過競賽的方式挖掘攻擊與防禦技術新思路，同時鏈接產業側真實安全需求，為進一步強化人工智能安全攻防研究提供基礎，也為推動人工智能安全標準及能力建設提供了重要支撐，助力我國人工智能產業的整體發展。

專家觀點

沒有高水平安全，就沒有高質量發展

統籌發展和安全，是每項新技術發展過程中面臨的必然問題，如何實現高水平發展和高水平安全的良性互動，也是當前人工智能產業發展最為重要的命題，現場多位專家就此話題展開分享，探索AI安全建設的新思路與新路徑。

人工智能對抗攻防包括對抗樣本、神經網絡後門、模型隱私問題等多方面技術。模型有錯誤就需要進行及時的修復。中國科學院信息安全國家重點實驗室副主任陳愷提出「神經網絡手術刀」的方法，通過定位引發錯誤的神經元，進行精準「微創」修復。陳愷表示，不同於傳統的模型修復工作需要重新訓練模型，或者依賴於較大量的數據樣本，這種方式類似於「微創手術」，只需極少量或無需數據樣本，能夠大幅提升模型修復效果。

中國科學院信息安全國家重點實驗室副主任陳愷

開放環境下的人工智能系統面臨諸多安全挑戰，如何解決通用人工智能算法全周期的安全保障問題成為重中之重。北京航空航天大學軟件開發環境國家重點實驗室副主任劉祥龍表示，目前人工智能算法及系統的安全性缺乏科學評測手段，難以有效評測完整的人工智能模型和算法能力。他表示，從技術上來看應形成從安全性測試到安全性分析與安全性加固的完整技術手段，最終形成標準化的測試流程。未來的人工智能安全應該圍繞從數據、算法到系統各個層次上的全面評測，同時配合一套整體的從硬件到軟件的安全可信計算環境。

北京航空航天大學軟件開發環境國家重點實驗室副主任劉祥龍

工商銀行金融研究院安全攻防實驗室主管專家蘇建明表示，人工智能安全治理需要廣泛協作和開放創新，需加強政府、學術機構、企業等產業各參與方的互動合作，建立積極的生態規則。政策層面加快人工智能的立法進程，加強對人工智能服務水平、技術支撐能力等專項監督考核力度。學術層面，加大對人工智能安全研究的激勵投入，通過產學研合作模式加快科研成果的轉化與落地。企業層面，逐步推動人工智能技術由場景拓展向安全可信發展轉變，通過參與標準制定，推出產品服務，持續探索人工智能安全實踐及解決方案。

工商銀行金融研究院安全攻防實驗室主管專家蘇建明

最後，圓桌對話環節，北京交通大學教授、計算機與信息技術學院副院長景麗萍，清華大學人工智能研究院基礎理論研究中心主任朱軍，北京郵電大學網絡空間安全學院副院長鄧偉洪，北京科技大學計算機與通信工程學院教授陳健生，華為可信AI安全解決方案專家唐文圍繞人工智能安全技術發展、人工智能安全治理等話題展開深入交流。