close

點擊下方卡片,關注「新機器視覺」公眾號

重磅乾貨,第一時間送達


在沒有全球導航衛星系統 (GNSS) 的情況下,無人駕駛飛行器 (UAV) 的運行仍然是研究人員和商業發展感興趣的領域。對於圖像強度不同的許多基於特徵的導航技術來說,合適的增益設置是一個挑戰。圖1顯示了從 LWIR 傳感器的輻射原始數據獲得的圖像幀,其中應用了增益和偏移以最大化各個圖像的對比度。包括每個圖像的溫度範圍,以展示觀察到的熱發射率隨一天中的時間和所觀察的地形類型而變化。


圖1 長波紅外 (LWIR) 傳感器處理後的熱圖像。跑道(左上)和地形(右上)的白天LWIR圖像。跑道(左下)和地形(右下)的夜間圖像。灰度彩條為其相鄰圖像提供以攝氏度為單位的表面溫度

圖2顯示了 LWIR 傳感器的光流處理。我們的光流分析是使用OpenCV中實現的Lucas–Kanade (LK)方法計算的。該實現使用Shi-Tomasi角點檢測器來識別初始圖像中的突出特徵塊。然後使用LK 跟蹤方法將這些補丁位置匹配到後續幀中。圖2a顯示了在應用最佳增益和偏移以最大化這對圖像的對比度後,在夜間捕獲的兩個連續幀的結果圖像。


圖2 長波紅外傳感器夜間流動處理。(a) 連續圖像之間的關鍵點匹配。(b) 初始幀中良好特徵的位移到後續圖像中匹配位置的箭袋圖(紅色箭頭)。使用的最佳(藍色)和最差(黃色)特徵用彩色箭頭標註。(c)(左)初始幀中的最佳特徵補丁(如(b)中注釋);(右)後續幀中的匹配補丁。(d) 關鍵點的X和Y角位移集的直方圖。

在飛行前,TF方法的經驗評估如下進行。LWIR傳感器針對由實驗室內的環境條件設定的強度大致均勻的場景。通過將玻璃圓筒加熱到環境溫度以上產生的「熱」標記被放置在距離傳感器已知範圍(2.0 m)的場景中。然後標記垂直於傳感器視圖移動已知距離(0.078 m)。在之前和之後的條件下都捕獲了LWIR 幀。範圍和距離的受控值允許對熱標記特徵的位移角進行數值計算。對兩個框架進行熱流處理以確定角位移。圖3顯示處理後的幀。



圖3 LWIR 流動處理的實驗室評估。評估圖像之間匹配的單個熱門特徵

使用的固定翼飛機是三角翼配置的Zeta Science FX61機身,翼展1.5 5m,質量1.4 kg,並配備了航空電子設備以進行實驗飛行。三角翼配置包括被稱為升降舵的控制面,它線性地結合了傳統固定翼飛機中使用的副翼和升降舵控制面的功能,以實現獨立的橫滾和俯仰控制。如圖4所示,專門製造的飛機被組裝成包含LWIR傳感器在內的航空電子設備。Ardupilot開源自動駕駛儀嵌入到配備GPS和指南針模塊的Pixhawk自動駕駛儀上。使用的自動駕駛配置能夠以50Hz的頻率更新飛機的兩個升降舵控制面,這適用於控制這種類型的固定翼飛機。


圖4 實驗飛機(左上)和底部(左下)的圖像,頂部(中)和底部插圖(右)。布局包括 (A) Raspberry Pi 嵌入式計算機,(B)LWIR 傳感器,(C)PX4FLOW,(D)Pixhawk 自動駕駛儀,(E) 3DR 指南針和 UBlox GPS 模塊,以及 (F)機翼照明

在整個飛行實驗部分中, OGC實施的所有控制和處理均在飛機上以閉環方式完全執行,同時以全速記錄所有相關信號的數據記錄。如圖5所示,無人機在白天和夜間條件下均手動發射,通過取消飛行前後的滑行要求,簡化了夜間的地面操作。為了符合夜間飛行的運行批准,增加了機翼照明條,如圖4所示。


圖5白天(左)、夜間(中)和夜間開燈飛行中的實驗飛機(右)

實驗是在位於南澳大利亞的一個現場進行的。選擇該站點是因為它允許進行無人系統實驗,包括無人機的夜間操作。在地理上,該地點是一個乾旱地帶景觀,具有稀疏的膝蓋高度的自然植被和起伏的地形。由於地處偏遠,操作區域內的人工特徵極少。該地點在春季和夜間都在白天和夜間使用,風力適宜,但其他情況下則晴朗溫和。圖6顯示該站點的衛星視圖和海拔地圖。該場地位於已獲准使用的封閉跑道附近。在實驗期間,衛星地圖上所有明顯的河床都是乾涸的。這種環境的海拔高度相當平坦,變化大約十米,確保在任何方向的飛行過程中,地面以上的高度隨時間緩慢變化。


圖6實驗測試地點衛星視圖和海拔圖

通過在天黑後在地面以上400m的高度操作無人機來定性地評估檢測足夠紋理的能力。這個高度是OGC-TF飛行實驗的8倍,也大大高於許多國家小型無人機的監管高度上限(400 英尺)(國際民用航空組織,2019 年)。獲取下方地形的LWIR圖像,並應用熱流處理來生成圖7中的顫動圖。


圖7 從海拔 400m 處獲取的圖像中獲得的示例圖像和產生的流場。(a) 包含跑道和小型基礎設施的圖像,帶有特徵運動的顫動圖。(b) 僅帶有顫動圖的自然場景圖像。自然場景具有更多識別跟蹤的特徵

這項研究顯示了長波紅外傳感器在擴展長距離低複雜度導航能力以允許在黑暗條件下操作方面的實用性。使用低成本、商用技術和低分辨率、低幀率LWIR傳感器已經證明了擴展到這個具有挑戰性的領域。

源自:https://doi-org.uconn.80599.net/10.1002/rob.22015

本文僅做學術分享,如有侵權,請聯繫刪文。

—THE END—
arrow
arrow
    全站熱搜
    創作者介紹
    創作者 鑽石舞台 的頭像
    鑽石舞台

    鑽石舞台

    鑽石舞台 發表在 痞客邦 留言(0) 人氣()