半導體行業觀察 - ST：全局快門傳感器，是計算機視覺首選成像技術－鑽石舞台

Apr 04 Mon 2022 13:30
半導體行業觀察 - ST：全局快門傳感器，是計算機視覺首選成像技術

現在大多數的新興應用，尤其是人工智能和元宇宙，都需要計算機視覺技術。而計算機視覺的實現離不開圖像傳感器的支撐，全局快門圖像傳感器以具有競爭力的成本，精確的測量成為計算機視覺應用的首選成像技術。

全局快門傳感器是計算機視覺首選

首先，讓我們來看下，什麼是計算機視覺？根據IBM給其的定義，計算機視覺是人工智能 (AI)領域的一個分支，讓計算機和系統能夠從數字圖像、視頻和其他視覺輸入數據中提取有意義的信息，並根據這些信息採取行動或提出建議。

計算機視覺的應用場景在我們身邊是無處不在的，主要可將其歸為四大類：深度感應、生物識別、AR/VR/MR、機器人與工業控制。這些應用自然離不開圖像傳感器的支撐，而這四大類應用都有得到全局快門傳感器的技術支撐。如下圖所示：

此外攝像頭還用一種捲簾快門的圖像傳感器。我們身邊大多數攝像頭都屬於捲簾快門，比如智能手機的主攝像頭、自拍攝像頭、建築中的監控攝像頭，甚至數碼相機都是採用捲簾快門技術。這些應用場景也都需要捕捉彩色圖像，因此需要相當高的分辨率。捲簾快門的設計目的是為了捕捉靜態圖像和視頻拍攝，因此需要非常高的分辨率和顏色處理能力。

但捲簾快門的缺點在於，它是進行逐行拍攝圖像，整個圖像只有一幀，拍攝時間長，曝光時間也長，如果拍攝對象是車輛這樣的快速移動物體，圖像可能會發生扭曲，無法顯示拍攝對象原本的樣子，而且功耗高，不適合始終工作的系統，所以捲簾快門不能用於計算機視覺。

而全局快門的原理則完全不同，它是一次拍攝整幅圖像，所有像素同時曝光。拍攝時間非常短，成像效果準確，曝光時間短，功耗低，因此完全符合計算機視覺的要求。

ST是全球排名前列的全局快門傳感器供應商

說到圖像傳感器，意法半導體（ST）是這個領域的強者。ST在圖像傳感器和光學傳感領域已有超過20年的發展史。

ST在圖像傳感器上的研究最早可追溯到1986年，1999年ST收購VISION創建了影像事業部；2002年ST開始為智能手機產業供應攝像頭模組，其中移動攝像頭模塊和ISP出貨量達到100萬，後來隨着諾基亞照相手機銷量的增長，對相機模塊需求激增，到2009年ST的ISP出貨量達到5億；2012年ST將業務從手機通訊拓展至醫學、航空、個人電腦和其它領域，2014年又推出ST dToF傳感器傳感器，2018年推出首款環境光傳感器，2020年推出最新的全局快門傳感器。

所以總結來看，目前ST圖像傳感器產品包括三大家族：一是飛行時間傳感器，包括dToF直接傳感器和iToF間接傳感器。二是全局快門圖像傳感器，包括主動雙目攝像頭或結構光攝像頭。三是環境光傳感器，包括自動調節平衡技術。

在全局快門圖像傳感器領域，ST共有兩類產品：一類是VD55G0，像素40萬；另一類是VD56G3，像素150萬。這兩種產品採用的都是ST 3D技術，最初的設計包括兩層陣列，之後ST將其合二為一形成單一陣列。

據意法半導體亞太區影像事業部技術市場經理林國志的介紹，這兩類產品擁有三大優勢：首先我們的傳感器940nm具有最高的量子效率，這會帶來極高的NIR敏感度；其次，正方形傳感器的分辨率與鏡頭最佳匹配，之所以採用正方形是因為計算機視覺的採集對象通常是正方形，比如人臉通常就是的正方形；最後，ST傳感器拍攝時間很短，能夠在確保準確成像的同時降低系統功耗。

除了以上這些圖像輸出功能，ST的全局快門傳感器還可以進行數據輸出，其中之一就是光流輸出，通過計算運動向量得出數據，傳感器可以採集信息、輸出數據，利用光流進行手勢識別和追蹤。

ST的全局快門傳感器可以應用在消費、工業、汽車等不同領域。

在消費和工業上的應用

不同行業對圖像傳感器的需求不同，在智能家居的應用上，用戶並不希望家裡有個攝像頭全天候監視自己，又想要攝像頭和傳感器帶來的協助舒適感。針對此，ST的全局快門傳感器開發了一些列人機交互的功能，如人數統計、人臉識別等等。

在筆記本/PC攝像頭領域，ST有專用全局快門近紅外圖像傳感器，也有存在檢測和基本手勢控制多合一ToF傳感器，用於顯示屏和攝像頭亮度自動調節環境光傳感器，還有基於全局快門或結構光的主動雙目3D掃描攝像頭

ST還有一種解決方案，ST全局快門傳感器+AI家電。其主要功能包括三大類：一是感測，二是計算，三是通信。計算機視覺技術基本上都需要這三步，首先要有許多傳感器進行信息採集，包括ToF、IMU這些全局快門傳感器，然後要將信息傳至MCU這些AI深度學習算法得到產出，最後再將產出結果傳至無線設備。

在上述這幾個領域，ST已與客戶合作，林國志介紹到，ST標準傳感器開發評估套件目前已經上市，這項產品完全根據客戶需求開發。我們交付的產品有裸片，客戶還可以選擇我們第三方提供的封裝傳感器或者攝像頭模組，包括PCB、圖像傳感器、鏡頭和接口，共同構成整套工業用攝像頭產品供應鏈。

汽車領域的應用情況

汽車這一新興市場對攝像頭的需求發展迅速，根據Yole的數據統計，2021年底車內攝像頭的市場滲透率約為10%，而到2024年預計會達到50%。車內傳感器主要包括四大類：車內攝像頭，ADAS攝像頭、觀測攝像頭和售後攝像頭，主要用於行車記錄儀。其中除了車內攝像頭屬於新品，其它產品都已經相當成熟。

車內攝像頭也有多種，車輛評估標準體系Euro NCAP對車內監控系統分為兩類：一類是駕駛員監控系統DMS，另一類是客艙監控系統CMS或者OMS。有效的駕駛員駕控系統也是自動駕駛的先決條件，確保必要時把控制權交還給適合駕駛且能夠駕駛的駕駛員。

駕駛員監控系統DMS攝像頭安裝在駕駛員面前，觀測對象主要是臉，鏡頭視場角必須做得很大，大概50-60度，分辨率100-230萬。另外很重要的一點是要必須要採用NIR攝像頭，以便於在白天黑夜都對駕駛員進行監控，在漆黑環境下需要有光源投射在駕駛員臉上，但不能使用可見光，就需要NIR技術。下圖中顯示了NIR圖像和普通攝像頭模組的對比。

客艙監控系統觀測的是車內所有乘員，但不同之處在於，需要進行物體探測和識別，所以需要彩色圖像，而且觀測範圍比較寬廣，因此鏡頭視場角需要更大（100度），分辨率需要更高（230萬），才能獲取觀測域內所有細節信息。

客艙占用監控+駕駛員監控二合一系統是將CMS、OMS和DMS進行結合，僅用單個攝像頭就可以同時支持RGB和NIR。

ST有兩代用於汽車的全局快門傳感器。第一代包括四類產品：VD5661A具有160萬分辨率，主要用於DMS。VD5761A具有230萬分辨率，因為屬於Mono（單色）所以也可以用於DMS。還有採用彩色RGB的VD6763A和RGB-NIR一體化的VD1762A。第一代ST全局傳感器就已經能夠覆蓋所有客戶需求。

第二代產品VB56G4A具備150萬分辨率，主要用於駕駛員監控，包括三大要點：首先是高靈敏度，NIR的高靈敏度意味着無需強勁的LED光源，因為LED耗能會帶來更高的功耗；其次是傳感器面積小，意味着攝像頭模組也可以做得更小，安裝在各種機械裝置內部更加容易；再就是內置處理，傳感器有智能自動曝光算法，無需人工操作。

ST標準傳感器評估套件現在可按需求提供，其第三方供應商也可以提供成品攝像頭模組，基於ST全局快門傳感器的攝像頭模組是成品，客戶可以直接將模組集成到汽車系統內或用它測評傳感器性能。

結語

ST在圖像傳感器和光學傳感解決方案中有20餘年的歷史，全局快門傳感器雖然是近幾年才推出的產品，但ST全局快門傳感器具有意法半導體專有的像素技術、更高的方形分辨率和多種嵌入式計算機視覺功能，完全滿足計算機視覺應用要求。在出貨、質量和服務方面，ST的全局快門傳感器都排名市場前列。

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點讚同或支持，如果有任何異議，歡迎聯繫半導體行業觀察。

今天是《半導體行業觀察》為您分享的第3000內容，歡迎關注。

鑽石舞台

鑽石鑽石亮晶晶

半導體行業觀察 - ST：全局快門傳感器，是計算機視覺首選成像技術

歷史上的今天

留言列表

文章搜尋

最新文章

熱門文章

誰來我家

參觀人氣