摘要
CMOS 圖像傳感器的發展及其使用先進成像技術的前景有希望改善生活質量。隨着並行模數轉換器 (ADC) 和背照式 (BI) 技術的迅速出現,CMOS 圖像傳感器目前在數碼相機市場占據主導地位,而堆疊式 CMOS 圖像傳感器繼續在移動設備中提供增強的功能和用戶體驗。本文回顧了堆疊圖像傳感器在圖像傳感器架構演進方面的最新成果,以加速性能改進、擴大傳感能力以及將邊緣計算與各種堆疊器件技術結合。
I. 引言
圖像傳感器目前用於多種應用。自 1969 年電荷耦合器件 (CCD) 發明以來,固態圖像傳感器已蔓延到各種消費市場,例如小型攝像機和數碼相機。自 2005年以來已成為主流固態圖像傳感器的 CMOS 圖像傳感器在為 CCD 開發的技術的基礎上不斷發展。除了目前最大的圖像傳感器市場智能手機之外,對圖像傳感器的需求正迅速擴大到用於安全的網絡攝像頭、用於工廠自動化的機器視覺以及用於輔助駕駛和自動駕駛系統的汽車攝像頭。
CMOS圖像傳感器技術的一個主要轉折點是背照式(BI)圖像傳感器的成功開發,這使得圖像傳感器的堆疊結構的發展成為可能,如圖1所示。在最初的前照式 (FI) 結構中,很難減小傳感器的像素尺寸,因為入射光必須由光電二極管通過金屬線包圍的間隙收集。由於背照式(BI)結構大大提高了靈敏度並允許金屬布線的靈活性,而且由於晶圓鍵合和極其均勻的晶圓減薄技術,它已成為圖像傳感器的熱門產品。圖像傳感器逐漸向堆疊結構發展,其中邏輯電路直接集成在基底晶片上。堆疊工藝允許更先進的CMOS工藝中高度並行的模數轉換器 (ADC) 和信號處理元件的更高集成度,獨立於為像素光電二極管定製的傳感器工藝。堆疊設備結構繼續極大地改變圖像傳感器架構。

圖 1. CMOS 圖像傳感器的結構。(a) FI 結構,(b) BI 結構,和(c)具有通孔的堆疊結構。
本文回顧了具有堆疊設備的圖像傳感器架構的發展趨勢,以顯著加速性能改進、擴展傳感能力以及集成連接到傳感器層的邊緣計算功能。第二部分介紹了堆疊設備配置的不同傳感器架構,這些架構通過高度並行的列並行 ADC 實現高像素分辨率和高幀率成像。第三部分介紹了一些使用像素間距 Cu-Cu 連接(pixel-pitch Cu–Cu connections)實現的高級像素電路,這些電路對於在實際像素分辨率下實現更好的像素性能至關重要。像素間距 Cu-Cu 連接也使傳感器架構逐漸向像素並行數字化方向發展。第四部分介紹了擴展傳感能力的傳感器架構的一些進展,例如空間深度、時間對比傳感和不可見光成像。第五部分介紹了集成邊緣人工智能 (AI) 加速器的視覺傳感器。最後,第六部分給出了一些結論。
II.使用超過百萬像素的電影錄製
電影錄製需要至少每秒 30 或 60 幀 (fps) 的幀速率,即使像素數量正在從 200 萬像素高清 (HD) 格式增加到 800 萬像素 4K 格式。此外,更高的幀速率操作,例如 120、240 或 1000 每秒傳輸幀數(fps),可以提供慢動作回放。自 1997 年提出列並行 ADC 架構以來,通過增加並行 ADC 的數量和加快 ADC 操作本身的速度,幀速率得到了改善 。由於可以將最佳工藝技術應用於傳感器像素和外圍設備,堆疊結構有助於充分提高幀速率。傳感器製造需要幾種離子注入工藝來形成具有低結泄漏的光電二極管和晶體管。然而,邏輯工藝(the logic process)需要低電阻和高速晶體管。對於像素來說,三層或四層布線通常就足夠了,但邏輯電路大約需要十層布線。所使用的堆疊技術可以緩解同一芯片上非堆疊圖像傳感器的衝突約束,包括傳感器像素和邏輯電路。
A. 雙列 ADC 架構
目前,大多數 CMOS 圖像傳感器包括一個像素陣列、數千個以列並行結構組織的 ADC 和邏輯電路。如圖 2(a) 所示,位於像素陣列外部的硅通孔 (TSV) 以高度並行的方式將像素列連接到 ADC。在 2013 年推出的第一個堆疊 CMOS 圖像傳感器 中,列 ADC 的模擬和數字部分分別被分成頂部和底部芯片,如圖 2(b) 所示。2015 年,提出了雙列 ADC 架構,並在 16M 像素下實現了 120 fps 的幀速率,其中列 ADC 完全移至底部芯片,如圖 2(c) 所示。傳感器芯片採用用於光電二極管的 90 納米傳感器定製工藝製造,僅使用 NMOS 邏輯。而邏輯芯片採用 65 納米標準 CMOS 工藝製造。由於列 ADC 可以獨立於傳感器芯片來實現,因此 ADC 可以高度集成。除了提高幀速率外,還將冗餘並行 ADC用在通過平均多個模數 (AD) 轉換來降低噪聲,如圖 3 所示。一個像素的輸出同時分配給兩個 ADC,兩個數字輸出相加以再現圖像幀。兩個 ADC 的時序相位略有不同,以通過降低其噪聲信號之間的相關性來實現降噪。

圖 2. 堆疊 CMOS 圖像傳感器的實現。(a) 光電二極管和邏輯電路之間的 TSV 連接。(b) 首個堆疊的 CMOS 圖像傳感器。(c) 雙列 ADC 架構。

圖 3. 雙列 ADC 架構的簡化框圖(左)和噪聲特性的改進(右)。
B. 具有動態隨機存取存儲器 (DRAM) 的三層堆疊 CMOS 圖像傳感器
隨着像素和並行 ADC 數量的增加,圖像傳感器會輸出大量數據。2017 年,提出了一種三層堆疊的 CMOS 圖像傳感器以記錄 960 fps 的慢動作視頻,如圖 4 所示;三層之間通過硅通孔(TSV)連接,從並行 ADC 獲得的數據緩存在第二層 DRAM 中,以實現慢動作捕捉。對於超慢動作錄製,當來自 ADC 的數字數據通過 102-Gbit/s 總線臨時緩衝在 DRAM 中時,該傳感器可以在全高清分辨率下以 960 fps 的速度運行。當傳感器在 30 fps 的電影拍攝過程中檢測到用戶的觸發或場景中的快速運動時,讀出速度將變為 960 fps。在 DRAM 中一次最多可以存儲 63 幀全高清分辨率,並在隨後的電影捕捉過程中輸出緩衝數據。

圖 4. 帶有 DRAM 的三層堆疊 CMOS 圖像傳感器。
C. 用於Large Optical Format芯片堆疊於晶圓之上(Chip-on-Wafer)技術
迄今為止推出的堆疊式 CMOS 圖像傳感器是在晶圓上晶圓 (WoW) 鍵合工藝中製造的。然而,由於傳感器和邏輯芯片的尺寸必須相同,這種工藝並不總是最佳的選擇,特別是對於大光學格式(a large optical format),另一種堆疊方法涉及 CoW 鍵合,如圖 5 所示。當尺寸與光學格式(optical format)相同的邏輯芯片完全充滿高度並行的 ADC 和數字構建塊(digital building blocks)時,面積效率在 WoW 鍵合中是最佳的。然而,如果邏輯電路小於光學格式(optical format),則 CoW 配置有最佳的面積效率,而 WoW 配置存在成本問題。

圖 5. 大型光學格式圖像傳感器的 WoW 和 CoW 鍵合工藝的面積效率。
2016 年報道了一種使用 CoW 鍵合工藝的堆疊 CMOS 圖像傳感器 [12],實現了具有超 35 毫米光學格式(optical format)的廣播攝像機的全局快門圖像傳感器。在這裡,兩個切開的邏輯芯片採用 65-nm CMOS 工藝設計,具有並行 ADC 和微凸塊(microbumps),並堆疊在為全局快門像素定製設計的大型傳感器芯片上,如圖 6 所示。具有高縱橫比的切開的邏輯芯片通過間距為 40 µm 的微凸塊連接到傳感器。因此,連接總數約為 38 000。該傳感器還允許通過 800 萬像素以 480 fps 的速度進行超慢動作回放。

圖 6. 使用 CoW 鍵合工藝的堆疊式 CMOS 圖像傳感器。
圖 7 顯示了大型光學格式圖像(large optical-format)傳感器的性能趨勢, 2021 年,全 35 毫米格式(full-35-mm-format)圖像傳感器具有 5000 萬像素和 250 fps。為了增加並行 ADC 的數量並逐步增加靜態隨機存取存儲器 (SRAM) 幀緩衝區,使用 WoW 工藝來實現高性能。另一方面,CoW 工藝用來平衡成本效率和大型光學格式(large optical-format)傳感器的性能。2021 年還推出了 3.6 英寸圖像傳感器,具有 1.27 億像素和四個使用 CoW 工藝堆疊的邏輯芯片。CoW 工藝的下一個挑戰是提高晶片上芯片放置的吞吐量,以提高生產率。

圖 7. 大型光學格式圖像傳感器的性能趨勢。
III.像素並行架構
在上一節中,使用堆疊器件的傳感器架構主要用於提高基於列並行 ADC 架構的幀速率。本節介紹了基於使用細間距 Cu-Cu 連接(fine-pitch Cu–Cu connections)的像素並行架構的一些進展。在這裡,傳感器和邏輯層之間的連接已從 TSV 更改為混合鍵合的 Cu-Cu 連接,如圖 8(a) 所示。在 TSV 配置中,信號線被傳送到像素陣列外圍的邏輯層。相比之下,Cu-Cu 連接可以直接集成在像素下方,並且這些連接允許增加連接的數量。關於 Cu-Cu 連接間距的最新趨勢如圖 8(b)所示。圖像傳感器的混合鍵合過程中需要數百萬個沒有連接缺陷的 Cu-Cu 連接,而隨着大量觸點的穩定連接,觸點間距逐漸減小;此外,最近報道了 1-µm Cu-Cu 混合鍵合間距。這些細間距連接將使像素並行電路架構能夠以實際的像素尺寸製造。

圖 8.Cu-Cu 連接間距趨勢 (a) 簡化的器件結構和 (b) 橫截面。
A. 堆疊像素電路擴展
文獻中已經提出了許多技術和實現方式,通過像素電路擴展來提高像素性能,例如滿阱容量 (FWC) 、,並實現附加功能,例如全局快門、。圖 9(a) 和 (b) 分別顯示了單轉換增益和雙轉換增益的像素配置。較小的電容 CFD 會經歷來自光電子的高電壓擺幅,以實現低噪聲讀出,但它很容易被大量信號電子飽和。然而,具有雙轉換增益的像素通過兩個轉換增益之間的順序操作切換,可以在 CFD 上實現低噪聲讀數,在 CDCG 上實現高動態範圍 (HDR) 讀數;此外,附加晶體管和電容器的面積開銷通過限制像素尺寸可以減小的量限制實現高像素分辨率。2018年,提出了具有雙轉換增益的堆疊像素電路擴展;通過像素平行的Cu-Cu連接在底部芯片上實現了額外的電路,如圖9(c)所示。通過在 20 和 200 µV/e- 的轉換增益之間切換,成功顯示了 1.5-µm 像素具有 83.8 dB 的動態範圍和 0.8 e-rms 的低噪聲。如圖 10 所示,像素級堆疊電路配置已應用於電壓域全局快門功能和具有雙轉換增益的像素。2019 年展示了快門效率超過 100 dB 的 2.2 µm 全局快門像素。具有雙轉換增益和電壓域全局快門的最先進像素分別實現了0.8µm和2.3 µm的像素尺寸,沒有像素級堆疊電路擴展;然而,堆疊像素配置仍有望為增強較小像素的像素性能。

圖 9. 像素電路配置 (a) 具有單轉換增益,(b) 具有雙轉換增益,以及 (c) 具有雙轉換增益並堆疊像素平行 Cu-Cu 連接。

圖 10. 通過像素平行 Cu-Cu 連接堆疊的電壓域全局快門的像素電路配置。
B. 像素並行 ADC
自 2001 年提出像素並行數字化概念以來,也提出了具有混合鍵合工藝的像素平行 Cu-Cu 連接的堆疊圖像傳感器。複雜電路中的像素內區域開銷(within-pixel area overheads)絕對限制了像素分辨率,但 2017 年提出了具有陣列並行 ADC 架構的 410 萬像素堆疊圖像傳感器,接着2018年提出了具有 146 萬像素並行ADC的堆疊圖像傳感器 。由於混合鍵合工藝的細間距 Cu-Cu 連接,像素並行 ADC 架構已經實現了 Mpixel 分辨率。如圖 11 所示,單斜率 ADC 用於像素並行和傳統列並行架構,但沒有源跟隨器電路。像素內晶體管放大器直接集成在比較器中,通過兩個 Cu-Cu 連接將每個像素連接到底部芯片。由於計數器的面積限制,格雷碼被分配到像素內(in-pixel)的鎖存器,數字讀出管道(digital readout pipelines)已經使用像素陣列下的 ADC 實現。

圖 11. 像素並行 ADC 的電路配置。
圖12(a)顯示了具有像素並行ADC架構的原型芯片;儘管每個 ADC 僅以 6.9 µm 的像素間距實現,其中比較器的靜態電流限制為 7.74 nA,但由於有效的帶寬控制,本底噪聲被抑制到 8.77 e−rms。所有像素並行 ADC 同時作為全局快門運行;因此,如圖 12(c) 所示,在使用原型捕獲的圖像中沒有觀察到如圖 12(b) 所示的滾動快門焦平面失真。仍在繼續開發像素並行 ADC 架構。2020 年的最新的一項工作顯示像素間距為 4.6 µm,動態範圍為 127-dB,噪聲為 4.2e−rms,一項工作像素間距為 4.95 µm,噪聲為 2.6e−rms。

圖 12. 像素並行 ADC 的芯片實現。(a) 芯片顯微照片。(b) 使用滾動快門操作和 (c) 使用全局快門操作捕獲的圖像。
C. 像素平行光子計數器
光子計數成像,也稱為量子成像,是一種實現具有無噪聲讀出和 高動態範圍成像(HDR) 的圖像捕獲的有前途的技術。使用單光子雪崩二極管 (SPAD) 的光子計數圖像傳感器是通過堆疊技術實現像素並行數字化的挑戰之一。雪崩電流由單個光電子觸發,在沒有來自模擬前端電路的任何噪聲的情況下,該事件可以數字化地視為光子計數。這需要為每個 SPAD 實現複雜的電路;而具有像素連接的堆疊器件結構具有高度集成的光子計數成像的潛力。
2021 年報道了一種動態範圍為 124 dB 並使用子幀外推架構(subframe extrapolating architecture)的 SPAD 光子計數圖像傳感器 。一個背照式( BI) 單光子雪崩二極管(SPAD )像素陣列堆疊在底部芯片上,讀出電路通過像素平行的 Cu-Cu 連接,如圖 13(a) 所示。圖13(b)是像素單元的簡圖。每個像素都有一個 9-b 數字紋波計數器 (CN),用於計算入射光子的數量。來自計數器的溢出進位 (OF) 返回到淬滅電路以控制 SPAD 激活並鎖存時序代碼 (TC)。然後將 14-b時序代碼 (TC) 分配給所有像素,並在 OF 標誌發生變化時覆蓋計數器,如圖 14 的時序圖所示。讀出光子的 9-b 計數或鎖存的 14-b TC,並且在弱光條件下準確獲得所有光子計數,而不會出現計數器溢出。但是,當計數器在高光條件下溢出時,溢出像素會記錄時間,並外推整個曝光期間的實際入射光子數。

圖 13. 光子計數圖像傳感器。(a) 芯片配置。(b) 簡化的像素電路圖。

圖 14. 光子計數與子幀外推的時序圖。
如圖 15(a) 所示,已經證明了 124 dB 的動態範圍,信噪比 (SNR) 沒有任何下降。在高光條件下計數器溢出後的 SNR 在擴展的動態範圍內保持在 40 dB,因為真正的光子計數操作可以計數多達 10 240 個光子,即 9 位 × 20 子幀。圖 15(b) 顯示了以 250 fps 拍攝的 HDR 圖像;由於全局快門和 20 子幀 HDR 操作,即使使用 225 rpm 的旋轉風扇,也沒有觀察到運動偽影。20 子幀外推有效地抑制了運動偽影,如圖 15(c) 所示。SPAD 需要大約 20 V 的高偏置電壓以及低電源電壓下的像素並行觸發檢測器。由於不同電源電壓之間的器件隔離,通常難以實現具有小間距的 SPAD 像素。然而,堆疊器件結構有效地分離了 SPAD 和 CMOS 邏輯層,從而加速了具有 SPAD 和擴展功能的小像素配置的開發。

圖 15. 光子計數的測量結果。(a) 動態範圍和信噪比。(b) 捕獲的 HDR 圖像。(c) 具有運動偽影抑制的捕獲圖像。
IV.傳感能力的擴展
除了之前介紹的動態範圍和全局快門功能之外,堆疊設備技術不僅增強了傳感器架構的圖像質量,還增強了傳感功能,例如空間深度、時間對比傳感和不可見光成像。
A. 空間深度
如第 III-C 節所述,具有 Cu-Cu 混合鍵合的堆疊器件結構是實用 SPAD 技術在廣泛應用中的一種有前景的方法,並將 SPAD 像素間距減小到小於 10 µm。為了提高光子檢測效率 (PDE) 並減少小像素間距的光學串擾,2020 年報道了一種包含全溝槽隔離 (FTI) 和 Cu-Cu 鍵合的 BI SPAD 像素陣列 。如圖 16 所示,在 BI 堆疊 SPAD 結構中,SPAD 像素陣列對入射光完全開放,所有像素晶體管都在底部芯片上實現。金屬埋入式 FTI 有助於抑制與相鄰像素的串擾。10-µm 間距 SPAD 像素具有 7-µm 厚的硅層,以提高近紅外 (NIR) 光譜測量的靈敏度,並在 850 nm 和 940 nm 處分別實現了31.4% 和 14.2%以上的高 PDE。

圖 16. SPAD 器件結構。(a) FI SPAD。(b) BI-stacked SPAD。
據報道,2021 年,一種使用了 BI 堆疊 SPAD, 189 × 600 SPAD 直接飛行時間 (ToF) 傳感器 用於汽車 LiDAR 系統。所有的像素前端電路都在SPAD陣列下的底層芯片中實現,如圖17所示。在 LiDAR 系統中,當接收到反射的激光脈衝時,SPAD 會在 6 ns 的死區時間內產生一個觸發脈衝,並將其傳送到時間數字轉換器 (TDC)。頂部和底部芯片分別使用具有 10 個銅層的 90-nm SPAD 和 40-nm CMOS 工藝。由於採用堆疊結構,傳感器包括重合檢測電路、TDC 和數字信號處理器 (DSP) 作為深度感測的構建模塊。直接 ToF 傳感器在高達 200 m 的擴展範圍內表現出 30 cm 的距離精度,使其能夠在 117k 勒克斯的陽光條件下檢測具有 95% 反射率的物體。

圖 17. 帶有直接 ToF 深度傳感器的 BI 堆疊 SPAD。
BI堆疊SPAD結構是基於SPAD的成像和深度傳感的突破,具有改進的特性。與將電路放置在每個 SPAD 旁邊的傳統像素相比,BI 堆疊結構提高了量子效率,並將 SPAD 和電路分成最佳硅層。因此,堆疊實現克服了 SPAD 傳感器的傳統限制,適用於更廣泛的應用。
B. 時間對比傳感
基於事件的視覺傳感器 (EVS) 檢測超過預設相對閾值的單個像素時間對比度,以跟蹤相對光變化的時間演變,並為絕對強度的無幀像素級測量定義採樣點。自 2006 年首次報告 EVS以來,已經提出了許多使用 EVS 的應用,例如由於記錄數據的時間精度導致的高速低功耗機器視覺、對時間冗餘的固有抑制導致減少後處理成本和廣泛的場景內 DR 操作 。儘管像素尺寸在 2019 年通過 BI 結構減小到 9 µm 的間距,但由於大量像素級模擬信號處理,EVS 遭受了大像素尺寸和通常小分辨率的困擾。因此,EVS 特別受益於具有像素級 Cu-Cu 連接的堆疊器件結構的進步。
2020 年報道了 1280 × 720 4.86-µm 像素間距 BI 堆疊 EVS。圖 18 顯示了對比度檢測 (CD) 功能的像素框圖以及像素內異步讀出接口和狀態邏輯塊的示意圖。光電流被轉換為電壓信號 Vlog,然後通過使用電平交叉比較器檢測的異步增量調製 (ADM) 獲得對比度變化。圖 19(a) 中的 BI-stacked EVS 實現了 1-µs 行級時間戳、每秒 10.66 億個事件 (eps) 的最大事件率,以及 35 nW/像素和 137 pJ/事件的數據格式化流水線 用於高速低功耗機器視覺應用。圖 19(b) 顯示了一些示例應用的傳感器操作。大約 1 勒克斯的交通場景記錄展示了低光對比敏感度。低延遲像素和高速讀出操作帶來的高時間精度允許傳感器在 3D 深度傳感應用中解碼時間編碼的結構光圖案。圖 20 顯示了 EVS 中像素間距的趨勢。由於堆疊設備技術,對於百萬像素的實際使用案例EVS 的像素尺寸現在低於 5 µm 間距。

圖 18. EVS 的像素框圖

圖 19. BI-stacked EVS 及其應用示例。(a) 芯片顯微照片。(b) 應用實例。

圖 20. EVS 中像素間距的趨勢。
C. 不可見光成像
堆疊器件技術還有助於在混合集成中使用非硅光電探測器實現不可見光成像。具有混合集成的非硅光電探測器的示例包括 InGaAs 光電探測器、Ge-on-Si光電探測器和有機光電導膜。在本節中,總結了使用 Cu-Cu 混合鍵合的 InGaAs 傳感器的最新成果。
工業、科學、醫療和安全應用對短波紅外 (SWIR) 範圍(即 1000 到 2000 nm 之間的波長)成像的需求一直在增加。InGaAs 器件已用於 SWIR 傳感器,因為它們在 SWIR 範圍內的吸收特性是硅基器件無法覆蓋的。在傳統的 InGaAs 傳感器中,光電二極管陣列 (PDA) 的每個像素通過使用凸塊的倒裝芯片混合連接到讀出集成電路 (ROIC)。由於凸塊的可擴展性有限,這種結構通常使細間距像素陣列的製造複雜化。2019 年,推出了一種 InGaAs 圖像傳感器,其中 PDA 的每個 5-µm 像素使用 Cu-Cu 鍵合連接到 ROIC。InGaAs/InP 異質結構在直徑小於 4 的市售小型 InP 襯底上外延生長。如圖 21 所示,外延 InGaAs/InP 晶圓被切割成芯片,並使用 III-V 裸片到硅晶圓工藝轉移到大型硅晶圓上。在製造 Cu 焊盤後,III-V/Si 異質晶片使用 Cu-Cu 鍵合將每個 III-V 像素連接到 ROIC 與 ROIC 混合。圖 22 顯示了倒裝芯片凸塊的接觸間距趨勢和 InGaAs 傳感器的 Cu-Cu 鍵合。使用凸塊的倒裝芯片混合是製造 InGaAs 傳感器的傳統方法,由於工藝裕度窄且可重複性差,不適合按比例縮小像素間距。然而,自 2016 年以來,Cu-Cu 雜化已用於 CMOS 圖像傳感器的大規模生產並具有高產量,是縮放互連到 InGaAs 傳感器的關鍵技術。圖 22 還顯示了在有霧的場景中涉及檢查和安全監控的應用示例。因此,InGaAs 圖像傳感器通過像素級 Cu-Cu 連接為 HD SWIR 成像創造了條件。

圖 21. InGaAs 圖像傳感器製造的工藝流程圖。

圖 22. 倒裝凸塊接觸間距趨勢和 Cu-Cu 鍵合以及 InGaAs 傳感器的應用實例。
V.智能視覺傳感器
在物聯網 (IoT) 市場、零售、智慧城市和類似應用中,對具有 AI 處理能力的相機產品的需求正在增長。此類邊緣設備上的 AI 處理能力可以解決與純雲計算系統相關的一些問題,例如延遲、雲通信、處理成本和隱私問題。具有AI處理能力的智能相機的市場需求包括小尺寸、低成本、低功耗和易於安裝。然而,傳統的 CMOS 圖像傳感器僅輸出捕獲圖像的原始數據。因此,在開發具有AI處理能力的智能相機時,需要使用包含圖像信號處理器(ISP)、卷積神經網絡(CNN)處理、DRAM等能力的IC。
2021 年報道了一種由 1230 萬像素和一個專用於 CNN 計算的 DSP 組成的堆疊 CMOS 圖像傳感器。如圖 23 所示,該傳感器包含一個集成解決方案,該解決方案具有完整的圖像捕獲傳輸到 CNN 推理處理器,並且可以以 120 fps 的速度處理,包括使用 4.97 TOPS/W DSP 的圖像捕獲和片上 CNN 處理。處理模塊有一個用於 CNN 輸入預處理的 ISP、一個為 CNN 處理優化的 DSP 子系統,以及一個用於存儲 CNN 權重和運行時內存的 8-MB L2 SRAM。圖 24 顯示了使用 MobileNet v1 的 CNN 推理結果的一些示例。DSP 子系統展示了與 TensorFlow 類似的推理結果。智能視覺傳感器能夠在傳感器上運行完整的 CNN 推理過程,可以通過 MIPI 接口將捕獲的圖像作為原始數據和 CNN 推理結果輸出在同一幀中。該傳感器還支持僅從 SPI 接口輸出 CNN 推理結果,以啟用小型相機,降低系統功耗和成本。傳感器上的 CNN 推理處理器允許用戶將他們喜歡的 AI 模型編程到嵌入式存儲器中,並根據系統使用位置的要求或條件對其進行重新編程。例如,安裝在設施入口處時,可用於統計進入設施的訪客人數;安裝在商店貨架上,可用於檢測缺貨情況;當在天花板上時,它可以用於熱圖(heat mapping)商店訪客。智能視覺傳感器有望使用靈活的 AI 模型為各種應用提供低成本的邊緣 AI 系統。

圖 23. 智能視覺傳感器系統框圖。

圖 24. CNN 推理的測量結果。
VI. 結論
本文回顧了具有堆疊器件結構的圖像傳感器架構的最新成果。通過採用傳感器像素和 CMOS 電路優化工藝技術實現的高度並行 ADC,堆疊器件結構極大地提高了圖像傳感器性能,特別是在高幀速率和高像素分辨率下。在最近的工作中,已經使用像素並行堆疊電路和/或更智能的處理單元提出了一些建議,並取得了一些成果。這些新挑戰需要更高的可擴展性、針對每個功能的工藝技術的更多優化以及更高的面積效率。光電探測器、像素前端電路、模擬混合信號和數字處理器以及存儲器可以更有效地集成,如圖 25 所示,未來圖像傳感器架構通過器件堆疊技術擴展功能將獲得進一步的發展。

圖 25.堆疊式 CMOS 圖像傳感器的演進與未來展望。
本文來自IEEE,作者Yusuki Oike,版權也歸他們所有,本翻譯僅供讀者參考。
*免責聲明:本文由作者原創。文章內容系作者個人觀點,半導體行業觀察轉載僅為了傳達一種不同的觀點,不代表半導體行業觀察對該觀點讚同或支持,如果有任何異議,歡迎聯繫半導體行業觀察。
今天是《半導體行業觀察》為您分享的第3078內容,歡迎關注。
推薦閱讀
★VLSI 2022亮點總結:中國大陸不可忽視!
★MCU大廠的十年
★存儲器最新發展路線圖
半導體行業觀察

『半導體第一垂直媒體』
實時 專業 原創 深度
識別二維碼,回復下方關鍵詞,閱讀更多
晶圓|集成電路|設備|汽車芯片|存儲|台積電|AI|封裝
回復 投稿,看《如何成為「半導體行業觀察」的一員 》
回復 搜索,還能輕鬆找到其他你感興趣的文章!
