新機器視覺 - 基於雙目視覺的樹木高度測量方法研究－鑽石舞台

Apr 04 Mon 2022 23:00
新機器視覺 - 基於雙目視覺的樹木高度測量方法研究

點擊下方卡片，關注「新機器視覺」公眾號

重磅乾貨，第一時間送達

基於雙目視覺的樹木高度測量方法研究

張真維，趙鵬*, 韓金城

(東北林業大學信息與計算機工程學院，哈爾濱150040）

關鍵詞

雙目視覺；相機標定；SGBM算法；BM算法；深度學習

摘要

ABSTRAVT

隨着人工智能時代的到來，計算機視覺領域被廣泛應用到各個行業中。同樣的，人工智能改變着傳統林業的研究方法，林業信息工程技術日漸成熟。針對傳統樹高測量方法中存在的結果準確性不高、操作困難、專業知識轉化為規則困難等問題，採用了一種基於雙目立體視覺理論計算樹高的方法，實現了樹木高度的無接觸測量。以雙目相機作為採集設備，基於MATLAB、VS2015開發平台，採用張正友單平面棋盤格相機標定方法進行單目標定和雙目標定，從而獲取雙目相機2個鏡頭的參數。通過SGBM算法和BM算法立體匹配後獲得視差深度圖像，進而獲取樹木關鍵點的三維坐標信息並以此來計算樹木高度。將深度學習與雙目視覺相結合可以實現樹木同時在二維和三維空間的信息提取。在VS2015上的試驗結果表明，該方法操作相對簡單，並且能夠較為準確地測量樹木高度，SGBM算法樹高測量結果的相對誤差範圍為0.76%~3.93%，BM算法相對誤差範圍為0.29%~3.41%。結果表明：採用雙目視覺技術測量樹木高度可以滿足林業工程中對於樹高測量的精度需要。

隨着現代科學技術的迅速發展，林業管理工作效率需要不斷提高，精準林業成為林業領域的發展趨勢。

樹木參數

樹木參數是林業調查的重要指標，其中樹高是森林調查的重要指標，對於樹木生長具有一定參考價值。

機器視覺可代替人眼對物體進行檢測和識別，較為常見的是利用單目攝像頭。若要獲取物體的深度信息，僅憑單目攝像頭是不完善的，通常情況下需選擇雙目攝像頭來獲取物體三維信息。

目前，智能手機後置鏡頭數大多不少於2個，已達到雙目視覺測量的物理環境，未來將雙目視覺技術應用在智能手機上可以達到成本低、操作便捷的效果。

同樣的，可以將雙目視覺技術應用在無人機上，實現對地勢複雜、不易拍攝的樹木進行樹高測量。此外，雙目視覺技術對傾斜樹木的樹高測量具有一定價值和意義。

目前，大多採用傳統的望遠測樹儀來測量樹木高度。

邱梓軒等利用PDA模塊、遠程EDM模塊、長焦CCD鏡頭模塊和雲台組成望遠測樹儀測量立木高度。有研究人員選擇手持智能手機通過內置傳感器獲取參數，從而計算測得立木高度信息。

李亞東等以Android智能手機作為測量設備，調用Android中API接口中的三角函數對立木高度進行測量。

也有研究人員採用激光雷達點雲數據對樹高信息進行提取。劉金鵬等基於Skel Tre算法對帶有噪聲的TLS(terrestrial laserscanning)數據生成骨架模型和圖深度優先搜索算法提取單木信息。

Maas等對真實世界的植被進行了主動激光掃描，並提出了一種魯棒地重建樹木骨骼結構的自動方法。

Wu等提出了一種新的基於體素的標記鄰域搜索方法，用於從移動激光掃描(mobile laserscanning，MLS)點雲數據中有效地識別行道樹並獲取其立木形態參數。

Chen等針對測量輸電線路走廊中的樹障，提出了一種雙目視覺測距方法，用於測量輸電線路與樹木之間的距離。

倪超等採用了NCC(normalized cross correlation)立體匹配算法對苗木圖像進行匹配，提取形態學參數。

Ni等用雙目視覺的方法對樹冠進行三維重建。

因此，選擇一種具有良好準確率以及魯棒性，並且較為經濟的測量樹木高度的方法可以滿足精準林業的需求。

東北林業大學張真維，趙鵬等採用基於雙目立體視覺原理的樹木高度測量方法，對相機前方樹木提取深度信息，獲取樹木關鍵點的空間三維坐標，從而計算樹木高度；隨機選取行道樹進行試驗研究，並驗證該方法的合理性、有效性。

雙目視覺與相機標定

1.1雙目立體視覺模型

1.2雙目視覺系統測距原理

1.3相機標定試驗設備

1.4標定方法與步驟

匹配算法及樹高測量方法

2.1立體匹配

立體匹配是雙目視覺系統中的核心部分，可確定多幅圖像之間投影點間的一一對應關係，有效的立體匹配可以使關鍵點更加容易被提取。

2.2 SGBM算法

SGBM算法的整個過程如圖6所示。

1)採用水平Sobel算子提取圖像中的邊緣，獲取圖像的梯度信息，保存起來的預處理圖像將會進行代價計算。Sobel算子公式為：

2)代價計算。對左目圖像和右目圖像同時有兩種處理方式：對輸入圖像經過SobelX水平算子處理後計算BT代價；對輸入圖像直接進行BT代價計算。前者可以更好地保留圖像邊緣和細節信息，後者將會更好地保留原圖信息。

3)塊計算。塊計算的方法是根據選定像素點周圍8個鄰接像素的代價之和進行塊匹配，在相對應的右目圖片中，逐一對像素點周圍8個代價值之和進行計算，當計算周圍8個像素點的絕對值之和相差最小時，即認為匹配成功。

4)SGM算法。可達到多路徑約束聚合的目的，使當前像素點受到周圍多個方向路徑的約束。為了優化更新像素點的代價，採用聚合公式來解決這些問題：

式中：E（D）為構建的能量函數；p、q為圖中的像素點；Np為像素點p周圍8個相鄰像素點的集合。式（3）中的第一項表示像素點p視差為Dp時的匹配代價；第2項表示當視差差值為1個像素時，將增加1個懲罰係數P1；Dq為視差，Dp-Dq表示視差差值；第3項表示當視差差值大於1個像素時，將增加1個懲罰係數P2。通常P2>P1，P1是為了適應傾斜或彎曲的表面，P2則是為了保留不連續性。

單一方向上，整張圖片的像素通過動態規劃公式參與：

式中:C(p,d)表示當前代價；第2項中4個式子分別表示像素p在某方向上的像素在視差值為d時的代價、視差值為d-1時的代價加上P1、視差值為d+1時的代價加上P1、視差值在非d-1和d+1時的代價最小值加上P2；最後一項可起到防止聚合結果過大的作用。

共有16個約束方向，則把16個方向的值加和完成聚合過程，即完成了SGM的代價優化。

5)視差計算和視差後處理。進行後處理操作的目的是處理視差圖在前面步驟中可能造成的視差誤差、圖像魯棒性較差、圖像不連貫等問題。

2.3BM算法

BM算法對8位的灰度圖像進行處理時運行時間較短，可生成灰度視差圖像，圖像越亮代表距離越近。在用BM算法進行立體匹配時，模式串(用於匹配原灰度圖像文本串的灰度模板)的移動方向為從左到右，但模式串與文本串進行比較時的方向為從右到左。匹配過程中引入壞字符算法和好後綴算法，當匹配過程中存在不匹配的情況時，採用這2種算法進行處理，直到完成匹配。

2.4雙目視覺與深度學習

通過深度學習的方法可以對樹木進行目標檢測與識別。林朝劍等利用遷移學習實現林業業務圖像識別；劉嘉政等使用改進的CNN模型對樹種圖像進行識別。雙目視覺可以良好地獲取樹木的深度信息。將深度學習技術與雙目視覺技術進行結合，使用雙目相機作為圖像採集設備，既可以實現樹種的識別及檢測，又可以對樹高、樹距等空間深度信息進行計算。在同一時間內實現了二維和三維空間中樹木信息的提取，在林業工程的實際工作中具有較好的價值與意義。採用Yolo v4算法，基於Pytorch框架，對樟子松和雲杉2種樹木在雙目相機所拍攝的圖像上進行目標檢測和識別。選取139張樟子松圖片以及278張雲杉圖片作為數據集，使用Labelme工具製作標籤後進行深度學習訓練。目標檢測與識別在雙目圖像中的檢測結果見圖7。

2.5提高測量精度的方法分析

在雙目視覺技術的基礎上，提高測量精度（即深度距離）較為關鍵。

1）算法角度：在圖2中，設基線距離與焦距恆定，視差為d，視差偏差為Δd，深度距離偏差為ΔD，由式(5)可得，視差偏差越小，則深度距離偏差越小。

2）硬件角度：設Δd恆定，由式(6)可得，基線距離與焦距更大時，深度距離偏差越小。

3）像素角度：像素越小、物理尺寸恆定時，參與的像素越多，深度距離偏差越小。

4）深度範圍角度：深度範圍對精度有影響，設基線距離、焦距、視差偏差均恆定，由式(7)可得，測量目標越近，深度偏差越小。

綜上所述，提高測量精度的方法有：選取高精度視差估計算法；在合適的場景下，適當增加雙目相機基線距離並酌情採用焦距大的鏡頭；選取像素尺寸小的高分辨率相機；在合適的情況下，拉近拍攝距離。

在提高測量精度方面，針對算法角度，選取SGBM算法，在SGBM算法後處理的過程中進行置信度檢測、亞像素插值、左右一致性檢測的步驟，達到了消除錯誤視差以及優化視差圖像的效果，從而提高了視差的準確性，即提高了測量精度。針對硬件角度，選用了高幀率可變基線USB3.0雙目相機，以及一對4mm和一對12mm的鏡頭，在合適的場景下進行拍攝試驗。針對像素角度，選用了分辨率為1 280×720的雙目相機，提高在相同物理尺寸下的像素數量。針對深度範圍角度，在拍攝樹木圖像時，在圖像成像合適的情況下拉近拍攝距離。

2.6樹高計算方法

在測樹學中，樹高是指樹幹的根頸處至主幹稍頂的長度，是表示樹木高矮的調查因子。

樹高示意圖如圖8所示，P點為樹梢頂端點，Q點為地面上根莖與地面的接觸點，P和Q的距離L即為樹高。若要計算出樹木高度L，可將樹木置於一個空間直角坐標系下，通過P、Q兩點的空間坐標計算L。在雙目立體視覺標定過程中已建立了以雙目相機左鏡頭的中心作為原點空間坐標系，此時，在經過SGBM、BM算法之後，獲得的視差深度圖可以較好地獲取樹木關鍵點的深度信息。設P點坐標為（X, Y, Z），Q點坐標為（A, B, C），則：

結果與分析

3.1雙目標定結果

隨機選擇行道樹作為數據進行樹木高度測量試驗，通過MATLAB分別對雙目相機左右目鏡頭進行標定並分別獲取.mat文件，同時將2個.mat文件作為參數進行雙目標定。雙目標定後的參數提取結果見表1。

3.2圖像校正

圖像校正的目的是為了使雙目相機2個鏡頭的光軸處於平行狀態，同時可以檢驗雙目標定結果是否準確，從而達到像素點在左右目圖像上高度一致的效果。即只有當雙目標定結果準確時，左右圖像才會處於像素點一致的狀態。圖像校正的方法：獲取雙目標定結果參數；通過Remap函數實現圖像校正。圖像校正成功後便可進行圖像的立體匹配，深度計算以及生成深度圖像。試驗圖像校正結果見圖9，點雲深度圖圖像見圖10。圖9中，2個左圖像為雙目相機左鏡頭拍攝圖片，2個右圖像為右鏡頭拍攝圖片。圖9a、b、c為針葉、有葉樹冠形態樹（雲杉），對應圖10a；圖9d、e、f為闊葉、無葉樹冠形態樹（杏樹），對應圖10b。由此可知在樹木圖像校正時，校正結果準確，樹木類型(針葉和闊葉)和樹冠形態(有葉和無葉)對校正結果無較大影響。

3.3立體匹配

獲取樹木有效特徵參數較重要。立體匹配雙目圖像最重要的作用是獲取樹木關鍵點的深度信息，將圖像校正後的2張圖像通過SGBM算法與BM算法獲得樹木的視差深度圖。在這個過程中，SGBM算法經過預處理、代價計算、塊計算、SGM處理、視差計算和視差後處理，得到彩色視差深度圖像；BM算法經過模式串與文本串進行匹配，並通過2種規則進行處理，得到灰度視差深度圖像。圖10顯示了雲杉、杏樹、榆樹、樟子松經立體匹配後得到的深度圖像：圖10a、b、c的拍攝距離分別約為25，42和6m；圖10d為多棵樹木圖像。結果顯示，在近距離及中距離拍攝時，SGBM算法得到的深度圖像表面平滑，輪廓較分明，結果較好，而BM算法輪廓分明，但樹的表面有部分失真。在遠距離拍攝時，BM算法得到的深度圖像輪廓分明，效果良好，但SGBM算法出現失真，如圖10b所示。

3.4樹高測量結果

SGBM算法和BM算法試驗測得的樹高結果分別見表2和3。以雙目相機左鏡頭為原點建立空間直角坐標系，P點(樹木最高點)的選擇方式為樹木輪廓Y軸值最大的點，Q點的選擇採取多點取平均值的方式確定，由於存在着很多樹根和地面的接觸點，採取視野範圍內樹根左邊與地面接觸點與樹根右邊與地面接觸點的三維空間坐標，並取平均值作為Q點。P、Q兩點的坐標如表2和3所示。樹木實際高度採用全站儀10次測量的平均結果得到。由表2和3可知，通過獲取樹木關鍵點的空間坐標計算樹木高度的方法具有一定的可行性，誤差相對較小，與實際數據具有較強的相關性。

3.5樹木重疊

當拍攝過程中出現樹木重疊的情況時，可以通過視差圖的明亮程度來判斷最高點的位置屬於哪棵樹，出現此類情形時的深度圖見圖11。圖11a為原始圖像，紅色方框區域為此次拍攝樹木所遮擋的2棵其他樹的樹尖，這2個樹尖在圖像中高於待測樹木高度，對待測樹木最高點的判斷產生了影響；圖11b和c為SGBM算法和BM算法所生成的深度圖，紅色方框內的部分為重疊樹木樹尖的位置。因此，當樹木重疊時，越靠近相機的樹木顏色越明亮，以此可以解決樹木重疊覆蓋時其他樹木對待測樹木最高點判斷的影響。

3.6誤差分析

試驗誤差分布見表4。由表4可知，基於雙目視覺的樹木高度測量方法計算樹高的結果，SGBM算法相對實際值的最大相對誤差為3.93%，最小為0.76%；BM算法相對實際值的最大誤差為3.41%，最小為0.29%，根據2.5中提高精度的測量方法，對於拍攝5~6m以上較高的樹木誤差可以控制在3%左右，2種算法均滿足精準林業的精度需求。此外，造成誤差的原因可能有：樹木背景距離樹木本身太近，造成深度圖不明顯；相機標定時出現誤差；樹頂端出現失真等問題。SGBM算法生成的深度圖表面平滑、連貫，但在拍攝遠距離樹木時易造成輪廓不清晰；BM算法輪廓清晰，但深度圖表面有輕微失真，在實際應用中要根據實際情況選擇算法。

結論

針對能實現樹木無接觸式的測量方法，以及綜合考慮樹木生長過程中存在的傾斜、彎曲等不規則形態，提出了基於雙目立體視覺的樹高測量方法。將深度學習與雙目視覺相結合，可以實現樹木同時在二維和三維空間的信息提取。雙目視覺包括相機標定、圖像校正、立體匹配等技術；樹木的目標檢測技術則基於Yolo v4和Pytorch框架。此外，筆者基於雙目視覺理論分析了提高樹木測量精度的方法，如從算法角度、硬件角度、像素角度等多方面分析。試驗部分闡述了雙目視覺方法測量樹高的全過程，通過相機標定獲取相機鏡頭參數，結合SGBM算法與BM算法進行匹配，獲得待測樹木的深度圖像，進而對樹木關鍵點的空間坐標進行提取，計算測得樹高結果。其次，考慮到測量樹木高度過程中可能存在樹木遮擋重疊的問題，從而對樹木關鍵點的判斷產生影響，因此，在試驗部分分別用兩種算法的深度圖像清晰地描繪了解決該問題的途徑。在試驗誤差方面，SGBM算法樹高測量結果的相對誤差範圍為0.76%~3.93%，BM算法相對誤差範圍為0.29%~3.41%。總體來看，該方法具有較好的應用價值，可以滿足精準林業的需求。

該文發表於《林業工程學報》2021年第6期。

引文格式：

張真維,趙鵬,韓金城.基於雙目視覺的樹木高度測量方法研究[J].林業工程學報,2021,6(6):156-164.

ZHANG Z W,ZHAO P,HAN J C.Research on measurement method of single tree height using binocular vision[J].Journal of Forestry Engineering,2021,6(6):156-164.

本文僅做學術分享，如有侵權，請聯繫刪文。

—THE END—