化學與材料科學 - 南京大學萬青/萬昌錦團隊《Adv. Mater.》：光電脈衝視覺神經元用於視覺深度感知－鑽石舞台

點擊藍字關注我們

傳統的電子傳感系統對信息按幅值編碼進行串行處理，而生物系統並行地處理信息並使用「尖峰」作為其編碼語言。生物系統中的這種信息處理方式，被認為是其高能效的根本原因之一，生物得以超低的能耗進行超高吞吐量的感覺運動處理。例如，蜜蜂這樣簡單的動物就能依賴其視覺認知表現出精湛的飛行運動技能，同時其大腦僅消耗10微瓦的能量。這種獨特的生物信息感知與處理範式引起了人們對生物啟發感知器件與電路的廣泛研究興趣。

近日，南京大學電子科學與工程學院的萬青/萬昌錦課題組在基於多類神經形態器件集成的光電脈衝視覺神經元方面取得了新進展，探索了生物視覺系統的脈衝編碼模式以及雙目認知能力。相關成果在《Advanced Materials》期刊上發表了題為「A Photoelectric Spiking Neuron for Visual Depth Perception」的文章（DOI: 10.1002/adma.202201895），南京大學博士研究生陳春生為論文第一作者。在生物系統中，眼睛中的視錐細胞檢測光信號,並整合傳播至大腦的視覺皮層。通過睫狀肌的收縮與舒張，適應觀測近處與遠處的物體。更有趣的是，在一些動物的視覺系統中，它們能利用雙眼接收到的圖像之間的細微區別，獲得目標物的景深信息，這種視覺深度的認知反過來可以幫助視覺系統聚焦在目標物上，進行高精確度的識別和學習。在這項工作中，作者設計了一種硬件視覺系統，它由兩部分組成：一個基於閾值轉變器件的能對光信息進行脈衝編碼的「視神經」和一個基於浮柵突觸晶體管的用於模式識別的「神經網絡」。首先，團隊基於閾值轉變憶阻器與光傳感電路共同搭建了泄漏-積分-觸發（Leaky Integrate-and-Fire）視神經元，相比已有的報道顯示了更優越的生物相似性。該人工視覺神經元，可以針對由遠及近的光信號進行脈衝編碼，其編碼頻率隨距離的靠近而逐漸增大，從而可以獲取視覺深度的信息。其次，該團隊用兩個光電脈衝視覺神經元和基於浮柵晶體管的人工神經網絡構建了一個雙目視覺系統。該系統可以根據目標點到兩個「視神經」的距離差異而產生的編碼頻率差異來推斷目標點的空間位置信息。利用這種深度感知，基於浮柵晶體管的硬件神經網絡可以實現較高精度的模式識別。根據這個原理，團隊模擬了對應不同視覺深度認知水平的面部識別效果。高視覺深度認知能力可以獲得高的聚焦效果，從而獲得高清晰的面部信息。本工作構建的人工雙目視覺系統僅經過 20 個訓練周期，面部圖像的識別準確率可從 68% 提高到 90%。該工作探索了基於多神經形態器件集成，構建高生物可信性的視覺神經系統的可能性，為神經形態感知系統領域提供了新思路。