目錄
目錄
第1章 視覺導航概論001
1 1視覺導航簡介001
1 2視覺導航關鍵技術003
1 2 1視覺傳感器技術003
1 2 2特徵提取技術004
1 2 3基於視覺的載體定位技術004
1 2 4基於視覺的載體速度獲取技術005
1 2 5基於視覺的載體姿態確定技術005
1 3視覺導航中的SLAM發展情況006
習題009
第2章 視覺導航基礎知識010
2 1相機成像模型說明010
2 1 1理想光學成像模型010
2 1 2普通相機坐標系定義及模型011
2 1 3魚眼相機模型及成像畸變原理015
2 2相機內參標定方法017
2 2 1針孔相機標定方法說明017
2 2 2魚眼相機標定工具示例020
2 3多視圖幾何研究方法020
2 3 1對極幾何關係說明021
2 3 2基礎矩陣及極線說明022
2 3 3本質矩陣與運動分析說明024
2 4運動估計及其模型介紹024
2 4 1運動估計概念及基本思路025
2 4 2基於透視法的運動估計方法027
2 4 3迭代*近點運動估計方法028
習題028
第3章 視覺圖像匹配方法029
3 1特徵圖像匹配原理解析029
3 1 1點特徵提取與描述原理029
3 1 2線特徵和麵特徵提取與描述原理031
3 1 3邊緣特徵提取原理034
3 2同源圖像匹配算法037
3 2 1同源圖像匹配算法相關研究情況037
3 2 2具有全域仿射不變性的圖像匹配算法原理038
3 2 3快速PORB圖像匹配算法043
3 3異源圖像匹配算法044
3 3 1異源圖像匹配算法相關研究情況045
3 3 2同源圖像匹配算法在異源圖像中的性能分析046
3 3 3基於自適應Canny邊緣特徵的改進異源圖像匹配算法047
3 4基於深度學習的圖像匹配算法051
3 4 1基於深度學習的異源圖像特徵融合網絡051
3 4 2基於深度學習的異源圖像匹配算法055
習題056
第4章 視覺目標檢測跟蹤方法057
4 1目標檢測技術研究情況057
4 1 1目標檢測技術的應用057
4 1 2目標檢測算法的評價指標061
4 1 3目標檢測中的挑戰061
4 2各類視覺目標檢測算法062
4 2 1傳統目標檢測算法062
4 2 2基於級聯分類的目標候選區域生成算法063
4 2 3基於HOG+SVM的目標檢測算法067
4 2 4卷積神經網絡及目標檢測方法073
4 3目標跟蹤算法076
4 3 1目標跟蹤算法的研究077
4 3 2目標跟蹤算法的公開數據集079
4 3 3目標跟蹤面臨的挑戰082
4 4基於特徵點擬合的尺度自適應跟蹤算法083
4 4 1目標跟蹤算法結構083
4 4 2目標特徵點提取方法示例084
4 4 3基於核相關與特徵點檢測的目標跟蹤算法091
習題097
第5章 視覺導航感知方法098
5 1基於單目視覺的位姿信息098
5 1 1單目視覺運動信息的獲取099
5 1 2姿態解算及誤差分析103
5 1 3基於視覺光流的載體速度獲取方法111
5 1 4視覺圖像匹配的載體絕對位置確定112
5 2基於雙目視覺的三維感知信息113
5 2 1雙目三維感知基本原理114
5 2 2自適應窗口的立體匹配算法117
5 2 3基於雙目立體視覺的三維環境感知方法122
5 3基於深度學習的運動解算方法124
5 3 1基於深度學習的圖像特徵提取方法125
5 3 2基於端到端導航全參數網絡的運動解算方法130
習題135
第6章 基於視覺的多信息融合導航方法136
6 1常用導航系統136
6 1 1慣性導航系統136
6 1 2衛星導航系統142
6 1 3輪式里程計導航系統144
6 2卡爾曼濾波及組合導航方法146
6 2 1卡爾曼濾波理論及其應用147
6 2 2擴展卡爾曼濾波理論及其應用151
6 3因子圖及組合導航方法153
6 3 1因子圖算法簡介153
6 3 2用於多源融合導航的因子圖推理方法157
6 3 3基於因子圖的多源信息融合算法實例161
6 4其他融合方法177
習題178
第7章 視覺導航的應用179
7 1視覺導航在行人導航中的應用179
7 2視覺導航在自動駕駛車輛中的應用182
7 3視覺導航在航空飛行器中的應用184
7 4視覺導航在航天載體中的應用186
習題188
參考文獻189
精彩書摘
第1章 視覺導航概論
視覺是由物體影像刺激視網膜產生的感覺,是人和動物*重要的感覺之一。人和動物通過視覺感知外界物體的大小、明暗、顏色、遠近、動靜等信息,其中人類獲取的信息70%~85%來自視覺。利用計算機及相關設備模擬出的生物視覺針對不同的研究目的分屬計算機視覺和機器視覺。視覺導航則是結合了計算機視覺和機器視覺的技術,專門用來服務載體的定位和導航功能。
視覺導航是通過處理視覺傳感器圖像信息獲取載體導航參數的技術,具有精度高、成本低、體積小、信息豐富、抗電磁干擾能力強、自主性好等優點,國內外眾多專家學者在基於視覺方法求解導航信息方面開展了大量研究,隨著計算機處理速度的提高、信號處理技術的發展以及各類導航技術的完善,視覺導航技術已日趨成熟。本章 主要對視覺導航的相關情況以及關鍵技術進行概述,並介紹視覺即時定位與地圖構建(simultaneous localization and mapping,SLAM)導航相關技術發展情況。
1 1視覺導航簡介
春秋末年,墨家學派第1《墨經》中記錄了世界上第1個小孔成倒像的實驗,並探討了光與影的關係,還細緻地說明了運動物體影像的變化規律,以及本影和副影的關係問題。以後,各種利用光和影的方法層出不窮,包括皮影戲、日晷計時器、六分儀測角定位等。
隨著攝像技術和計算機技術的逐漸成熟,20世紀80年代初,麻省理工學院的Marr教授創立了視覺計算理論,促進了計算機視覺研究。隨後,機器視覺定義逐步明晰為使用光學器件進行非接觸感知,自動獲取和解釋一個真實場景的圖像,以達到獲取信息或控制機器的目的。
視覺導航是機器視覺的特殊應用之一,主要利用計算機模擬人的視覺功能,從客觀事物的圖像中提取有價值信息,對其進行識別和理解,進而獲取載體的導航參數信息。常見的視覺導航方法包括SLAM、深度學習方法以及基於特徵的匹配算法等。視覺導航系統一般由硬件和軟件兩部分構成。硬件主要包括視覺傳感器、高速圖像採集系統、專用圖像處理系統等;軟件主要包括圖像處理和決策軟件,如圖1 1所示。
圖1 1視覺導航系統基本組成模塊
單目相機[1]、雙目相機是常見的可見光相機,而深度相機又可細分為結構光相機、飛行時間(time of flight,TOF)相機兩類。單目相機原理較為簡單,可參考針孔相機模型,該模型中缺乏尺度信息(圖1 2);雙目相機通過匹配同一特徵點在左右圖像得到投影視差,結合基線長度和三角測量原理估計深度,當目標深度過大時會退化為單目模型,使用易受限制(圖1 3);結構光相機通過結構光發射器發射結構光信號,
射線會因物體表面不同的深度而產生不同相位信息,進而可被換算為深度(圖1 4);
TOF相機則使用光脈衝與反射原理,估計點的深度信息(圖1 5)。
圖1 2單目相機原理示意圖
圖1 3雙目相機原理示意圖
圖1 4結構光相機原理示意圖
圖1 5TOF相機原理示意圖
按照傳感器類型,視覺導航可分為被動視覺導航和主動視覺導航兩類。被動視覺導航是依賴於可見光和不可見光成像技術的方法,如傳統的電荷耦合器件(charge coupled device, CCD)及紅外感應攝像頭等;主動視覺導航主要利用激光雷達[2]、結構光[3]等主動探測方式進行環境感知,並根據感知的信息進行載體導航參數運算。比較主動視覺與被動視覺兩類可知,被動視覺系統具有較強的普遍性,並且成本和功耗相對較低,因此本書主要介紹被動視覺。
載體的導航參數主要包括位置、速度、姿態等[4]。隨著軟硬件技術的快速發展,獲取特定導航參數的研究逐步深入,使基於視覺方法獲取全部導航參數成為可能。採用視覺方法獲取的載體位置、速度、姿態等導航參數見表1 1。提取各導航參數的研究過程具有一定的相似性,主要集中於圖像特徵提取、匹配、目標檢測跟蹤、姿態解算等。
1 2視覺導航關鍵技術
為了獲得各類導航參數,需要解決其中涉及的關鍵技術。這些關鍵技術涉及視覺傳感器技術、特徵提取技術、基於視覺的載體定位技術、基於視覺的載體速度獲取技術和基於視覺的載體姿態確定技術等。
1 2 1視覺傳感器技術
談及視覺傳感器技術的發展,光學研究和相機發明是不可或缺的部分。從春秋時期墨子在《墨經》中的成像介紹,到伽利略等對望遠鏡的改進,為相機不斷發展逐步奠定了基礎。19世紀初,涅普斯和達蓋爾等對相機原理的研究進一步推動了相機發展,併發明瞭*早可固定圖像的相機,而涅普斯和塔爾博特等改進了銀鹽感光材料的使用。
到了20世紀初,電視和電影產業的發展進一步推動了視覺處理技術的發展,從早期的黑白圖像到彩色圖像,從*初的模糊圖像到高清圖像,科技的發展不斷提高人們的視覺體驗。21世紀初,數碼相機的興起徹底改變了傳統相機拍攝方式,它使用電子傳感器捕捉圖像,能夠將圖像直接轉換為數字數據。隨著神經網絡[5]和深度學習技術的進步,卷積神經網絡(convolutional neural network,CNN)和循環神經網絡(recurrent neural network,RNN)等技術均在視覺圖像識別[6]、目標檢測、分割等方面取得了突破性成果。
1 2 2特徵提取技術
特徵提取是指從原始數據中抽取出具有代表性的有效信息特徵,以便用於數據分析、模式識別、機器學習等任務。在計算機視覺和模式識別領域,特徵提取是非常重要的一步,它有助於將數據轉換為更易於理解和處理的形式。特徵提取技術包括以下幾個方面。
(1)邊緣檢測:邊緣是圖像中明顯的亮度變化區域,邊緣檢測技術能夠找到圖像中的邊緣部分。第1的邊緣檢測算法Sobel、Prewitt、Canny[7]等是基於梯度或濾波器檢測圖像中的邊緣。
(2)角點檢測:角點是圖像中突然變化的區域,常常是具有局部*大值或*小值的點。Harris角點檢測和ShiTomasi角點檢測是常用圖像檢測中的角點方法。
(3)紋理特徵:紋理描述了圖像局部區域的重複或規律性。紋理特徵提取算法可以捕獲圖像的紋理信息,如局部二值模式(local binary pattern,LBP)、灰度共生矩陣(gray-level co-occurrence matrix,GLCM)等。
(4)顏色特徵:顏色是圖像中重要的特徵之一,顏色特徵提取涉及對圖像中不同顏色的統計和描述,如直方圖、顏色空間轉換等。
(5)局部特徵描述子:局部特徵描述子是指在圖像中提取出的局部區域特徵向量,如尺度不變特徵變換(scale-invariant feature transform,SIFT)、加速穩健特徵(speeded-up robust feature,SURF)和方向梯度直方圖(histogram of oriented gradient,HOG)等。
(6)深度學習特徵:隨著深度學習的興起,可以使用預訓練的CNN提取圖像特徵,卷積層的激活輸出常被視為圖像的高級特徵表示。
特徵提取的目標是將原始數據轉換為更加抽象、更有意義的表示形式,以便於後續的數據分析、分類、識別等任務,選擇合適的特徵提取方法對於*終任務的準確性和性能至關重要。
1 2 3基於視覺的載體定位技術
載體位置對於載體極其重要。相機通過透視變換獲取空間三維物體的二維圖像,圖像中的點與實際物體上的點存在對應關係。從不同方向拍攝同一空間點的兩幅圖像,依據圖像匹配點的對應關係,結合相機可反解出載體實際空間點的立體位置。三維立體視覺有助於判斷圖像匹配二維視覺內參的空間尺度。
限於視覺理論及系統軟硬件的發展水平,立體視覺的應用領域絕大部分局限在小範圍、低動態的定位場合。在立體視覺的實現過程中,立體匹配是*重要也是*難實現的一步,其核心問題是如何對立體雙圖進行匹配並求取視差。
具有代表性的二維地形景象匹配輔助導航技術是利用飛行器自身所載圖