close


百度在2019年也發表了自己的自動駕駛訓練測試數據集ApolloScape，論文為《The ApolloScape Open Dataset for Autonomous Driving and its Application》。這個數據集最大特色是使用了高精度地圖採集車，激光雷達點雲密度極高，達到光學成像級的密度。因此它是唯一具備稠密環境語義分割的3D點雲數據集，包含超過20個地點。因為是地圖級採集車，所以相機方位姿態準確度極高，6自由度下，translation ≤ 50 mm, rotation ≤ 0.015°。相機917萬像素，在所有數據採集系統中穩居第一。地圖自然離不開道路標識，百度的數據集包含最豐富的道路標識，像素級道路標識包含多達35個分類，160K以上圖像。地圖需要高精度定位，百度數據集的定位也是所有數據集中最強的。

百度數據集包含多種視覺化信息

百度的數據採集車就是百度地圖的數據採集車，車輛本身是百萬元級的豐田陸地巡洋艦，車頂的採集系統是Rigel的VMX-1HA。

VMX-1HA系統構成

VMX-1HA是2017年老產品，目前已被VMX-2HA取代。VMX-1HA最重要的部件是兩個測繪級激光雷達VUX-1HA。

VMX-1HA的性能參數，精度達到驚人的3毫米級，掃描線為500線，有效距離超400米，每秒200萬點發射頻率，雙回波整體系統就是800萬點密度。效果可以達到光學相機水準，特別是道路標識可以和相機互補，相機會有光線干擾，夜間或天氣不佳時不夠清晰，激光雷達沒有這個問題。



這種級別的激光雷達可以做城市建築模型，文物數字化，交通基礎設施地圖。
VMX-1HA檢測頭

VMX-1HA配備6個攝像頭，2HA是7個攝像頭。6個攝像頭覆蓋360°全景，這6個不是魚眼鏡頭(魚眼鏡頭畸變要做矯正)， 而是普通鏡頭，因此無需矯正。前兩個攝像頭像素達3384*2710，也就是917萬像素，是目前所有採集系統中最高的像素。其餘四個是500萬像素。
做為地圖，定位自然要求極高，絕對定位精度達到20毫米。


VMX-1HA還可以選配FLIR的Ladybug5熱成像系統，10米內可達4K級別清晰度，價格很高。

激光雷達可以避免攝像頭的缺陷，如這種被遮擋的、對比度極高的、鏡面反射的情形。

分割種類和同步像素標註的數量

道路標識Landmark分類和同步像素標註數量，道路標識分11大類，28小類，非常細緻。

百度數據集標註管線

百度數據集人工標註工具界面


百度數據集的標註管線，a為原始圖像，b為激光雷達投影圖像，c去掉移動目標，d和e為深度投影與分類，f填補e的天空和移動目標去除後的空洞，這與高精度地圖的製作流程頗為類似。

語義分割框架如上圖，使用DeLS 3D，這是百度的一種算法，論文為《DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map》。黑箭頭代表測試過程，紅箭頭為訓練和評估過程，黃色的錐體代表相機的定位，輸入包含一連串的圖像和與之同步的GPS IMU信息。
Segment CNN架構

SegmentCNN又稱SegNet，是劍橋大學2015年11月發表的論文《SegNet: A Deep ConvolutionalEncoder-Decoder Architecture for Image》是最早做語義分割比較成功的模型，直到今天效果還不錯，確實很厲害。

SegNet網絡結構如圖所示，Input為輸入圖片，Output為輸出分割的圖像，不同顏色代表不同的分類。語義分割的重要性就在於不僅告訴你圖片中某個東西是什麼，而且告知你它在圖片的位置。我們可以看到是一個對稱網絡，由中間綠色pooling池化層與紅色upsampling上取樣層作為分割，左邊是卷積提取高維特徵，並通過pooling使圖片變小，SegNet作者稱為Encoder，右邊是反卷積（在這裡反卷積與卷積沒有區別）與upsampling，通過反卷積使得圖像分類後特徵得以重現，upsampling使圖像變大，SegNet作者稱為Decoder，最後通過Softmax，輸出不同分類的最大值。這就是大致的SegNet過程。

百度ApolloScape的基線，SegCNN效果最佳。
幾種算法對比

最後說一下語義分割的指標之一MIoU (Mean Intersection over Union)，即交並比。

在進行語義分割結果評價的時候，常常將預測出來的結果分為四個部分：true positive、false positive、true negative和false negative, 其中negative就是指非物體標籤的部分(可以直接理解為背景)，那麼顯而易見的，positive就是指有標籤的部分。基於類進行計算的IoU就是將每一類的IoU計算之後累加，再進行平均，得到的就是基於全局的評價，所以我們求的IoU其實是取了均值的IoU，也就是均交並比（mean IoU）。
數據集系列到此完畢，還有值得一提的是大眾與福特合資的Argo公司的Argoverse，不過之前的文章已經有詳細描述。綜合來看，自動駕駛研究的熱點一個是從2D Bounding Box向語義分割，3D方向，單目立體重建，另一個是動作行為預測，光流追蹤和路徑規劃。不過目前業內還是以2D Bounding Box為主。

聲明：本文僅代表作者個人觀點。

相關閱讀

挑戰Waymo，華為百萬場景自動駕駛訓練數據集ONCE

Waymo的自動駕駛訓練數據集WOD
貼近實戰的自動駕駛測試數據集nuScenes
傳統大廠的巔峰之作，奔馳的Cityscape


更多佐思報告



報告訂購及合作諮詢聯繫人:
趙先生：18702148304（同微信）

佐研君：18600021096（同微信）

佐思2022年研究報告撰寫計劃

智能網聯汽車產業鏈全景圖（2022年9月版）

自主品牌主機廠自動駕駛汽車視覺（國內）高精度地圖合資品牌主機廠自動駕駛汽車視覺（國外）高精度定位ADAS與自動駕駛Tier1-國內環視市場研究（本土篇）汽車網關ADAS與自動駕駛Tier1-國外環視市場研究（合資篇）數據閉環研究自動駕駛與座艙域控制器紅外夜視汽車信息安全硬件多域計算和區域控制器汽車仿真（上）汽車信息安全軟件乘用車底盤域控汽車仿真（下）OEM信息安全域控制器排名分析激光雷達-國內篇無線通訊模組E/E架構激光雷達-國外篇汽車5G融合L4自動駕駛毫米波雷達800V高壓平台L2自動駕駛車用超聲波雷達燃料電池乘用車攝像頭季報Radar拆解一體化電池ADAS數據年報激光和毫米波雷達排名一體化壓鑄合資品牌車聯網專用車自動駕駛汽車OS研究自主品牌車聯網礦山自動駕駛線控底盤自動駕駛重卡無人接駁車滑板底盤商用車ADAS無人配送車電控懸架商用車智能座艙無人零售車研究轉向系統商用車車聯網農機自動駕駛線控制動研究汽車智能座艙港口自動駕駛充電基礎設施智能座艙Tier1模塊化報告汽車電機控制器座艙多屏與聯屏V2X和車路協同混合動力報告智能座艙設計路側智能感知汽車PCB研究儀表和中控顯示路側邊緣計算IGBT及SiC研究智能後視鏡汽車eCall系統EV熱管理系統行車記錄儀汽車EDR研究汽車功率電子汽車數字鑰匙智能汽車個性化電驅動與動力域研究汽車UWB研究汽車多模態交互汽車線束HUD行業研究車載語音汽車音響研究人機交互TSP廠商及產品汽車座椅車載DMS自動駕駛法規汽車照明OTA研究自動駕駛標準和認證汽車鎂合金壓鑄汽車雲服務研究智能網聯測試基地電裝新四化AUTOSAR研究PBV及汽車機器人造車新勢力-蔚來軟件定義汽車飛行汽車造車新勢力-小鵬汽車功能安全行泊一體研究Waymo智能網聯布局乘用車T-Box智慧停車研究座艙SOC商用車T-Box汽車分時租賃汽車VCU研究T-Box排名分析共享出行及自動駕駛汽車MCU研究軟件供應商自動駕駛芯片傳感器芯片智能表面

「佐思研究月報」
ADAS/智能汽車月報 |汽車座艙電子月報|汽車視覺和汽車雷達月報 | 電池、電機、電控月報 |車載信息系統月報|乘用車ACC數據月報|前視數據月報|HUD月報|AEB月報|APA數據月報|LKS數據月報|前雷達數據月報
arrow
arrow
    全站熱搜
    創作者介紹
    創作者 鑽石舞台 的頭像
    鑽石舞台

    鑽石舞台

    鑽石舞台 發表在 痞客邦 留言(0) 人氣()