移動機器人三維視覺同步定位與建圖 于清華 肖軍浩 盧惠民 等 9787118128673 【台灣高等教育出版社】

內容簡介
視覺同步定位與建圖（視覺SLAM、VSLAM）是機器人環境感知和導航的重要研究方向。《移動機器人三維視覺同步定位與建圖》首先從三維視覺的特殊性出發，介紹了三維視覺應用於同步定位與建圖的技術和方法；然後圍繞三維視覺SLAM中的視覺特徵提取、視覺里程計、閉環檢測、地圖構建4個關鍵技術依次進行介紹，在這些技術中，著重介紹三維視覺的彩色信息和距離信息如何在SLAM中的合理融合使用的問題；最後介紹了如何利用這4個關鍵技術構建一套完整的三維視覺SLAM系統，從而實現機器人在室內與室外環境下的實時精確定位，並建立稠密的三維環境地圖。
《移動機器人三維視覺同步定位與建圖》以機器視覺理論知識為基礎，涉及李群與李代數、概率論、非線性優化等數學知識，適合普通高等院校計算機科學、控制科學與工程等學科的研究生和高年級本科生作為教輔書籍或者參考書。

目錄
第1章 緒論
1 1 背景和意義
1 1 1 背景
1 1 2 意義
1 2 國內外發展現狀
1 2 1 視覺特徵提取
1 2 2 視覺里程計
1 2 3 閉環檢測
1 2 4 地圖構建與更新
1 3 本書關注的主要問題
1 4 本書的主要內容、組織結構和關鍵技術
1 4 1 主要內容與組織結構
1 4 2 關鍵技術
第2章 相關技術和理論基礎
2 1 三維視覺技術及傳感器簡介
2 1 1 雙目立體視覺相機
2 1 2 基於結構光的深度相機
2 1 3 基於光飛行時間的深度相機
2 1 4 其他類型的三維視覺技術
2 2 相機模型和彩色與深度圖像配准
2 2 1 針孔相機模型
2 2 2 圖像之間的配准
2 3 李群與李代數基礎
2 4 非線性優化方法與集束調整
2 4 1 非線性優化方法
2 4 2 集束調整（光束平差）
2 5 小結
第3章 基於透視不變特徵變換的三維視覺特徵提取
3 1 彩色與深度圖像特徵提取的難點
3 1 1 圖像非稠密問題
3 1 2 偽特徵點問題
3 1 3 透視投影問題
3 2 透視不變特徵圖像片的提取
3 2 1 特徵圖像片分割
3 2 2 特徵圖像片投影
3 2 3 計算特徵點的三維坐標
3 2 4 偽特徵點濾除
3 3 基於顏色編碼的特徵描述子
3 3 1 基於漢明距離的顏色編碼方法
3 3 2 特徵圖像片採樣與編碼
3 4 實驗對比與分析
3 4 1 偽特徵點濾除與特徵點三維坐標計算
3 4 2 特徵匹配
3 4 3 視角變化
3 4 4 各功能模塊的消融實驗
3 4 5 實時性能分析
3 5 小結
第4章 基於混合信息殘差的三維視覺里程計
4 1 視覺里程計中的信息殘差類型
4 2 混合殘差優化模型
4 2 1 相機位姿概率優化模型
4 2 2 混合殘差模型
4 3 非線性優化求解
4 3 1 重投影雅可比矩陣
4 3 2 光度學雅可比矩陣
4 3 3 深度雅可比矩陣
4 3 4 魯棒核函數與外點濾除
第5章 結合位姿與外觀信息的閉環檢測方法
第6章 地圖構建與地圖優化
第7章 融合多信息的三維視覺同步定位與建圖
附錄標準正態分佈置信區間表
參考文獻

前言/序言
視覺同步定位與建圖（視覺SLAM、VSLAM）是移動機器人實現自定位和環境感知的關鍵技術。隨著三維視覺相機（RGBD相機）技術的成熟，基於三維視覺的SLAM逐漸成為機器人領域中的一個重要研究方向。三維視覺所包含的信息類型更加豐富，對信息的合理組織與使用提出了更高的要求。本書從一名視覺SLAM開發人員的角度，圍繞三維視覺SLAM中的視覺特徵提取、視覺里程計、閉環檢測、地圖構建等關鍵步驟依次進行介紹，並構建了完整的三維視覺SLAM系統，著重介紹多種信息在SLAM中的合理融合使用的問題。
（1）視覺特徵提取是視覺SLAM的基礎。針對三維視覺中的彩色信息和深度信息的充分利用與互補性結合問題，本書介紹了一種基於透視不變特徵變換的三維視覺特徵提取方法，所提取的特徵具有透視不變性，稱為透視不變特徵變換（perspective invariant feature transform，PIFT）。該特徵提取方法充分考慮了三維視覺中的彩色信息和深度信息的不同物理特性，將二者分別用於特徵提取過程的不同階段，並提取出對成像視角變化具有較強魯棒性的包含顏色信息的特徵描述子。該特徵提取方法實現了三維視覺中的彩色信息和深度信息的有機融合，既有助於提高SLAM問題中的定位精度，又具有較好的實時性能。
（2）視覺里程計是實現連續的增量式的機器人定位的核心，它與視覺特徵提取過程一起稱為視覺SLAM系統的前端。針對三維視覺的多種特徵信息在視覺里程計中的互補性結合問題，本書介紹了一種基於混合信息殘差的RGBD視覺里程計（hybrid-residual-based visual odometry，HRVO）。HRVO實現了將重投影信息、光度學信息、深度信息這三種不同類型的特徵信息統一到聯合優化框架下，提高了視覺里程計的精度和魯棒性。
（3）閉環檢測是視覺SLAM的後端，是消除視覺SLAM累積定位誤差的有
效手段，也是保證建圖一致性的關鍵步驟。受人類視覺重定位機制啟發，本書介紹了一種結合位姿與外觀信息的閉環檢測方法（pose-appearance-based loop，PALoop）。PALoop基於SLAM方法本身的應用特性，將SIAM所提供的位姿信息與傳統圖像外觀信息相結合，提出了結合位姿與外觀兩種信息的閉環概率計算方法。其中的位姿與外觀兩種信息實現了優勢互補，在整體上提升了閉環檢測性能和實時性。
（4）地圖構建也是視覺SLAM的後端模塊，SLAM所構建的地圖是移動機器人對環境感知的表現形式，它不僅可以用於機器人的定位，還可以為機器人的路徑規劃、任務決策等其他行為提供基礎。本書介紹了基於滑動窗口的局部地圖優化方法和閉環檢測后的全局地圖優化方法。針對稠密點雲地圖，還介紹了稠密點雲的柵格表示方法和表面模型表示方法。
基於上述關鍵技術，本書構建了三維視覺SLAM系統，稱為融合多信息的三維視覺SLAM（3D visual SIAM with hybrid information，HI-3DVSLAM）。本書中的SLAM方法能夠實現機器人在室內環境與室外環境下的實時精確的定位，同時建立稠密的三維環境地圖，具有較好的環境表示能力。
本書是研究團隊近年來集體智慧的結晶，參与研究的還有鄭志強教授、盧惠民教授、肖軍浩副教授、曾志文副教授、黃開宏講師、代維助理研究員，以及歷屆研究生熊丹、梁傑、鄭小祥、任君凱、姚偉嘉、程帥、楊祥林、歐陽波、黃玉璽、程球、劉懿、鍾煜華、羅莎、熊敏君、陳鵬、王盼、馬俊沖、王潤澤、洪少尊、閆若怡、李義、邱啟航、韓冰心、朱珊珊、陳謝沅澧、周智千、李筱、施成浩等。研究組在開展相關研究過程中得到了國家重點研發計劃（2017YFC0803300）的資助，以及由國家自然科學基金（NO 61403409，NO 61503401，NO 61773393）和博士后基金（NO 2014M562648）的資助。