鑽石舞台

神經網絡是開發人工智能系統的第一個重要里程碑之一。由於機器學習任務中計算速度的提高和能耗的降低，集成光子學在神經網絡中的應用為微電子和混合光電實現提供了一種有前途的替代方法。

然而，由於缺乏非線性激活函數的光學實現，目前大多數神經網絡硬件系統仍然是基於電子的。在這裡，我們通過實驗證明了兩種實現全光神經非線性激活函數的新方法，其基於在紅外（IR）範圍內利用2D Ti3C2Tx（MXene）中獨特的光-物質相互作用的兩種配置：1）由MXene薄膜製成的可飽和吸收體，2）帶有MXene薄片覆蓋層的硅波導。這些結構可以作為光子神經網絡中的非線性單元，而它們的非線性傳遞函數可以根據工作波長靈活地設計，以優化不同神經形態任務的性能。是可重新配置的，因此可以針對各種應用進行調整無需修改物理結構。通過修改後的國家標準與技術研究所（MNIST）手寫數字分類任務，我們確認了機器學習應用中獲得結果的能力和可行性，準確率接近99%。我們開發的全光神經元概念有望成為實現全光實現的深層神經網絡的一個重要步驟。

圖1：

渲染的芯片顯示了通過光子電路（灰色矩形）在DNN中實現的整個層。輸入激光（紅色）通過波導（藍色）對芯片中攜帶的信息進行編碼。該芯片依賴於馬赫-森德干涉儀的網格；每個都由定向耦合器（波導中的彎曲部分）和移相器（紅光物體）組成，以控制分裂比和差分輸出相位。放大顯示了神經元基於光與MXene相互作用的非線性激活功能，其中波導覆蓋着MXene薄片。箭頭指示光的傳播方向。

由輸入層（紅色圓圈）、幾個隱藏層（灰色圓圈）和輸出層（藍色圓圈）組成的全連接DNN的總體架構；插圖顯示了一個神經元的示意圖，對輸入光信號進行加權和組合，然後應用非線性激活函數。

圖2：

使用MXene非線性激活函數進行高精度MNIST分類。

仿真的三層結構全連接網絡示意圖。DNN的每一層由光學干涉單元和非線性單元組成。（底部）幾個預測標籤對應於四個輸入的手寫數字圖像。

不同的基於MXene的激活函數表示不同工作波長的「功率輸入」到「功率輸出」關係。

網絡預測精度與訓練過程中的曆元計數有關，與基於標準軟件的非線性激活函數相比，所提出的全光非線性激活函數考慮了波導和MXene薄膜上的MXene亞表面覆蓋層。d、 將所研究的卷積神經網絡分解為具有全光非線性激活函數操作的獨特層。輸入為手寫數字圖像，輸出範圍為0到9。

在訓練和驗證過程中，所提出的基於全光和基於軟件的非線性激活函數之間的模型精度比較。

MNIST分類的實驗混淆矩陣，使用1550 nm波長下波導上MXene薄膜（藍色）和MXene亞表面覆蓋層（紫色）的傳遞函數。該模型對測試數據集的識別準確率分別為98.9%和97.4%。

圖3：

不同的基於通用軟件的非線性激活函數。由輸入/輸出關係表示：ReLU（紫色）、ELU（橙色）、tanh（藍色）和Swish（黃色）。

總結：

文章已經展示了一種在寬光譜範圍內工作的全光學非線性激活函數。在波導上製造了Ti3C2Tx MXene薄膜和MXene覆蓋層，並比較了以下情況下的光學響應：1）倏逝激發;2）平面波照明。以數值方式探索了由硅波導頂部的兩個MXene納米盤組成的晶胞效應。由此產生的透射光譜下降可以解釋為1020 nm和1560 nm波長處的局部表面等離子體激發。

仿真器展示了基于波導和MXene薄膜上的MXene超表面覆蓋層的所提出的激活機制的兼容性能，相對於機器學習任務中成熟且常用的非線性激活函數，其精度和損耗與epoch的函數有關。活化函數的非線性響應是由於MXene的飽和吸收特性而實現的。這項工作中展示的全光學實現的激活函數可能為高效計算神經網絡的發展翻開新的篇章。

【文章鏈接】

Ti3C2Tx MXene Enabled All-Optical Nonlinear Activation Function for On-Chip Photonic Deep Neural Networks

Adir Hazan, Barak Ratzker, Danzhen Zhang, Aviad Katiyi, Nachum Frage, Maxim Sokol，Yury Gogotsiand Alina Karabchevsky

arXiv - CS - Emerging Technologies，2021-09-19

DOI:arxiv-2109.09177

該論文只做學術交流使用，無任何商業目的。版權所屬為arXiv.