鑽石舞台

1月下旬以來，杭州一直被陰雨雪籠罩。從1月22日至2月7日，杭州市區累計降水量達194.3毫米，是常年同期平均（40.6毫米）的4.8倍，並打破2020年保持的歷史同期紀錄（163.5毫米），躍居1951年有連續氣象觀測資料以來歷史第1。

雨水多自然日照偏少，這期間杭州總日照時數僅13.1小時，比常年同期的58.3小時偏少近78%，為歷史同期第三少。氣溫雖然總體維持在往年平均水平，但由於濕度大，體感異常濕冷，凍成冰墩墩。

然而這樣的陰雨寡照天氣還沒結束。本周剩下的幾天，受到穩定的環流形勢影響，杭州依舊是雨雨雨，周五到周日降水還會加強。其中，只有後天白天天氣還算不錯，多雲到陰天，能看得到些許陽光。

好在，由於海上副熱帶高壓西伸，暖濕氣流加強，杭州氣溫將走出低谷，緩慢回升。周五到周日市區最低氣溫都將升到5度以上，最高氣溫也能達到10度附近。這也就意味着，除了近兩天高山區還會下雪以外，接下去幾天都不會有雪了。

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

編輯 | 蘿蔔皮

深度學習模型已成為科學和工程領域的普遍工具。然而，它們的能源需求現在越來越限制它們的可擴展性。深度學習加速器旨在高效地執行深度學習，通常針對推理階段，並且通常通過利用傳統電子設備之外的物理基板。迄今為止的方法一直無法應用反向傳播算法來原位訓練非常規的新型硬件。反向傳播的優勢使其成為事實上的大規模神經網絡訓練方法，因此這一缺陷構成了主要障礙。

在這裡，康奈爾大學的研究人員介紹了一種混合原位-計算機算法，稱為物理感知訓練，它應用反向傳播來訓練可控的物理系統。

正如深度學習通過由數學函數層構成的深度神經網絡，來實現計算那樣，該方法允許研究人員訓練由可控物理系統層構成的深度物理神經網絡，即使物理層與傳統人工神經網絡層缺乏任何數學同構。

為了證明該方法的普遍性，研究人員訓練了基於光學、力學和電子學的各種物理神經網絡，以實驗性地執行音頻和圖像分類任務。物理感知訓練將反向傳播的可擴展性與原位算法可實現的缺陷和噪聲的自動緩解相結合。

物理神經網絡具有比傳統電子處理器更快、更節能地執行機器學習的潛力，更廣泛地說，可以賦予物理系統自動設計的物理功能，例如機器人材料和智能傳感器。

該研究以「Deep physical neural networks trained with backpropagation」為題，於 2022 年 1 月 26 日發布在《Nature》。

與人工智能的許多歷史發展一樣，深度神經網絡（DNN）的廣泛採用部分是由協同硬件組成的。

2012 年，在早期研究的基礎上，Krizhevsky 團隊表明反向傳播算法，可以使用圖形處理單元有效地執行，以訓練大型 DNN 進行圖像分類。自 2012 年以來，DNN 模型的計算需求增長迅速，超過了摩爾定律。

現在，DNN 越來越受到硬件能效的限制。新興的 DNN 能量問題激發了特殊用途的硬件：DNN「加速器」大部分基於硬件物理和 DNN 中的數學運算之間的直接數學同構。一些加速器提案使用傳統電子之外的物理系統，例如光學和模擬電子交叉陣列。大多數設備都針對深度學習的推理階段，這在商業部署中占深度學習能源成本的 90%，儘管越來越多的設備也在處理訓練階段。

圖示：PNN 簡介。（來源：論文）

然而，通過為嚴格的、逐個操作的數學同構設計硬件，來實現訓練有素的數學變換，並不是執行高效機器學習的唯一方法。相反，研究人員可以直接訓練硬件的物理轉換來執行所需的計算。在這裡，研究人員將這種方法稱為物理神經網絡（PNN），以強調訓練的是物理過程，而不是數學運算。

這種區別不僅僅是語義上的：通過打破傳統的軟件-硬件劃分，PNN 提供了從幾乎任何可控的物理系統構建神經網絡硬件的可能性。正如任何模擬複雜物理系統演變的人所了解的那樣，物理轉換通常比數字仿真更快，且消耗更少的能量。

這表明如果最直接地利用這些物理轉換的 PNN，可能會比傳統範式更有效地執行某些計算，從而為可擴展、更節能和更快的機器學習提供途徑。

圖示：使用寬帶光學 SHG 實驗實現的示例 PNN。（來源：論文）

PNN 尤其適用於類似 DNN 的計算，遠遠超過數字邏輯甚至其他形式的模擬計算。正如它們對自然數據的穩健處理所預期的那樣，DNN 和物理過程具有許多結構相似性，例如層次結構、近似對稱性、噪聲、冗餘和非線性。

隨着物理系統的發展，它們執行的轉換有效地等效於 DNN 中常用的數學運算的近似、變體或組合，例如卷積、非線性和矩陣向量乘法。因此，使用受控物理變換序列，研究人員可以實現可訓練的分層物理計算，即深度 PNN。

雖然通過直接訓練物理轉換來構建計算機的範式起源於進化的計算材料，但它今天正在各個領域出現，包括光學、自旋電子納米振盪器、納米電子器件和小型量子計算機。

一個密切相關的趨勢是物理儲層計算（PRC），其中未經訓練的物理「儲層」的轉換由可訓練的輸出層線性組合。儘管 PRC 利用通用物理過程進行計算，但它無法實現類似 DNN 的分層計算。

相比之下，訓練物理轉換本身的方法原則上可以克服這一限制。為了通過實驗訓練物理變換，研究人員經常依賴無梯度學習算法。基於梯度的學習算法，例如反向傳播算法，被認為對於大規模 DNN 的高效訓練和良好泛化至關重要。

因此，出現了在物理硬件中實現基於梯度的訓練的建議。然而，這些鼓舞人心的提議卻做出了排除許多物理系統的假設，例如線性、無耗散演化或梯度動力學很好地描述了系統。最普遍的建議通過在計算機上進行訓練來克服這些限制，即完全在數值模擬中學習。儘管計算機訓練的普遍性賦予了力量，但非線性物理系統的模擬很少足夠準確，無法使計算機訓練的模型準確地轉移到真實設備。

圖示：物理意識培訓。（來源：論文）

在這裡，康奈爾大學的團隊演示了一個使用反向傳播直接訓練任意物理系統來執行 DNN 的通用框架，即 PNN。他們的方法是通過一種混合原位 - 計算機算法實現的，稱為物理感知訓練（PAT）。PAT 允許研究人員在任何物理輸入-輸出轉換序列上高效準確地執行反向傳播算法。

他們通過使用三個不同的系統實驗性地執行圖像分類，來證明這種方法的普遍性：驅動金屬板的多模機械振盪、非線性電子振盪器的模擬動力學和超快光學二次諧波產生 (SHG)。

研究人員獲得了準確的分層分類器，該分類器利用了每個系統獨特的物理變換，並從本質上減輕了每個系統的獨特噪聲過程和缺陷。

儘管 PNN 與傳統硬件大相徑庭，但很容易將它們集成到現代機器學習中。實驗表明，PNN 可以通過物理-數字混合架構與傳統硬件和神經網絡方法無縫結合，其中傳統硬件學習使用 PAT 與非傳統物理資源進行機會合作。

最終，PNN 提供了將機器學習的能源效率和速度提高多個數量級的途徑，以及自動設計複雜功能設備（例如功能性納米顆粒、機器人和智能傳感器）的途徑。

討論

結果表明，訓練可控的物理系統來執行 DNN 計算是可行的。原則上，許多通常不用於計算的系統似乎提供了執行部分機器學習推理計算的能力，比傳統硬件更快、更節能幾個數量級。

但是，有兩個注意事項需要注意。首先，由於潛在的對稱性和其他約束，一些系統可能非常適合加速共享相同約束的受限類計算。其次，使用 PAT 訓練的 PNN 只能在推理期間提供顯著優勢，因為 PAT 使用數字模型。因此，在混合網絡中，研究人員希望這樣的 PNN 可以作為傳統通用硬件的資源，而不是完全替代。

圖示：具有不同物理系統的圖像分類。（來源：論文）

現場訓練硬件的技術和可靠的計算機訓練方法彌補了這些弱點。使用原位學習算法訓練的設備將完全在硬件中執行學習，有可能實現比當前方法更快、更節能的學習。

此類設備適用於需要頻繁再培訓的環境。但是，為了同時執行學習和推理，這些設備比僅推理硬件具有更具體的硬件要求，這可能會限制它們可實現的推理性能。計算機訓練可以訓練設備的許多物理參數，包括在製造過程中永久設置的參數。

由於生成的硬件不會執行學習，因此可以對其進行優化以進行推理。儘管已經實施了準確、大規模的計算機培訓，但僅使用模擬電子設備就可以實現這一目標，因為模擬電子設備可以使用精確的模擬和受控的製造過程。

PAT 可用於無法避免模擬與現實差距的環境中，例如，如果硬件可能是在製造公差的限制下設計的、在通常的制度之外運行或基於傳統電子設備以外的平台。

PAT 的改進可以擴展 PNN 的效用。例如，PAT 的反向傳遞可以被直接預測物理系統參數更新的神經網絡所取代。使用 PNN 實現這個「教師」神經網絡將允許在沒有數字幫助的情況下進行後續訓練。

到目前為止，這項工作的重點是 PNN 作為機器學習加速器的潛在應用，但 PNN 在其他應用中也很有前景，特別是那些處理或生成物理而非數字數據的應用。

PNN 可以對其物理域內的數據執行計算，從而允許智能傳感器在轉換到電子域之前對信息進行預處理（例如，低功耗、麥克風耦合電路經過調整以識別特定的熱門詞）。

由於許多傳感器可實現的靈敏度、分辨率和能量效率，受到信息到數字電子領域的轉換以及在數字電子中處理該數據的限制，因此 PNN 傳感器應該具有優勢。更廣泛地說，使用 PAT，可以簡單地訓練物理系統的複雜功能。儘管機器學習和傳感是重要的功能，但它們只是 PAT 和 PNN 概念可以應用的眾多功能中的兩個。

論文鏈接：https://www.nature.com/articles/s41586-021-04223-6

相關報道：https://techxplore.com/news/2022-01-physical-machine-learning.html

人工智能×[生物 神經科學數學 物理 材料 ]

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()