增強現實AR技術權威指南：基礎‧發展‧實踐（簡體書）

本書系統介紹了增強現實技術的基礎理論、研究前沿以及實際應用。首先，介紹了增強現實的相關概念與技術特點，回顧了技術發展歷史。其次，介紹了增強現實基礎性的軟硬件技術，包括基於標識的位置配准和基於自然特徵的位置配准方法以及頭盔顯示器、空間型增強現實環境的原理和交互技術。然後，介紹了高級增強現實的研究前沿進展和成果，包括場景建模、光照一致性、自由視點影像、多通道多感交互增強現實等新技術，以及增強現實在機器人、人物定位、協同工作等領域的創新應用。在實踐方面，重點介紹了增強現實標準制訂工作進展、增強現實平臺開發項目以及增強現實在醫療、製造業等領域的應用案例。本書的主要讀者設定為正在和準備從事增強現實相關工作的人士。可以作為高等院校計算機、機械、醫療、建築等專業的教材，也可以作為與增強現實技術相關專業的學生開展畢業設計、研究生論文寫作的參考書目。本書的內容結構並不要求從頭至尾依序閱讀，因此，讀者可以根據對於增強現實的理解程度或必要性，擇取相應章節閱讀學習。

劉繼紅

工學博士，北京航空大學飛行器製造工程系教授、博士生導師。主要研究方向及特色： 現代設計理論與方法、數字化設計與製造技術、飛機製造技術、人工智能及其工程應用。發表學術刊物論文50餘篇，其中國際刊物8篇，SCI收錄3篇。譯著1篇，合著1篇。曾經負責和參與國家自然科學基金重大、重點項目以及國家863計劃項目等國家級項目5項，其它項目4項。

1．增強現實
增強現實（Augmented Reality，AR）技術正在快速普及應用。以增強現實作為廣告宣傳用語的新產品、新服務幾乎每日可見。智能手機裡有成千上萬個增強現實的應用app，大多數家庭的遊戲機控制器也已具備增強現實功能。以谷歌眼鏡為代表的智能眼鏡更是讓人實實在在地感覺到增強現實已經開始滲透到人們的日常生活之中。
那麼增強現實到底是什麼呢？通俗地講，增強現實可以理解為將影像疊加在現實世界中從而提供相關方便功能或快樂體驗的技術。如果根據目前所看到的產品或服務來判斷的話，這樣的解釋並無大礙。但是，原本增強現實的含義並不僅限於添加相關視覺信息，而是一個範圍很廣的概念。廣義上講，所謂增強現實是擴展現實世界的技術的統稱，也指緣於該技術而得到擴展的現實環境本身。該技術利用計算機對從現實世界獲取的“感覺信息”進行“調製”加工，從而改變所獲取的部分信息。所謂“調製”，不僅可以包括添加，還可以包括刪除、強調、衰減等處理方式。
例如，圖1所示的是利用增強現實技術評價家具佈局方案的應用實例。在室內舉起平板電腦，虛擬的家具就會疊加顯現在攝像機拍攝的影像上，從而可以對其大小、樣式、佈置等進行斟酌評判。此時，如果將一個虛擬家具放置在一個已有實物家具的位置上，就會導致實物家具與虛擬家具重置，產生錯誤結果。如果能用增強現實技術在影像上抹消掉一個實物家具，再換上一個虛擬家具，就能更方便地評判房間的展示效果。再進一步，為了得到更逼真的房間佈局仿真效果，用戶是否希望能夠準確地再現“房間的燈照在虛擬家具上，而虛擬家具的影子又落在地板或周圍實物家具上”的情形呢？可見，我們寄希望于利用增強現實不僅可以添加虛擬的信息，還能夠隨意地調製現實世界的信息以實現某種用途或達到某種目的。
 
圖1 利用增強現實技術評價家具佈局方案的應用實例
（圖片提供：Augmented Pixels Co.Ltd.）
目前的增強現實技術絕大多數利用的是視覺信息，其次是聽覺信息。但是，如果增強現實也能夠利用好其他感覺信息，就可以更好地表現虛擬物體。例如，如果既能夠呈現發動機的影像和聲音，又能夠再現其產生的氣味或振動，則虛擬乘車的現實感就會大大增強。所以，廣義的增強現實應該將視覺、聽覺、嗅覺、味覺、觸覺等所有的感覺信息當作調製的對象。
2．增強現實的特徵
通過將增強現實同與其相近或相異的概念進行比較，可以更加清晰地理解增強現實的概念。
首先，虛擬現實（Virtual Reality，VR）是與需要調製所有感覺信息的增強現實相近的概念。共同點是兩者都旨在最終能夠自由自在地產生所有感覺信息；兩者也都要求實時進行三維空間場景的信息處理，在感知信息或信息呈現等許多基本技術方面有相似之處。但是，虛擬現實隔絕了從現實世界獲得的感覺信息，取而代之的是人為再現的感覺信息，這一點與增強現實有著根本性的區別。
其次，增強現實與可穿戴計算技術的相近之處是，用戶在現實世界的各種活動中都交互地利用計算機信息。但是，可穿戴計算並不要求呈現的信息必須與用戶所處的現實世界相對應。例如，社交網絡軟件SNS的新消息顯示在智能眼鏡上，但這並不會對眼前的現實世界產生任何擴展效果。
再者，數字合成技術所帶來的視覺效果與增強現實的效果可以匹敵。但最大的不同是，數字合成技術在多數情況下不能實時生成視覺效果，後期製作需要花費大量的人力和時間。
如此可見，增強現實之所以是增強現實，有三個重要因素：①現實世界與虛擬世界雙方信息都可被利用；②上述信息可實時且交互利用；③虛擬信息以三維的形式對應現實世界。增強現實的三要素（圖2）是1997年由Azuma提出的，作為增強現實的狹義定義已廣為人知。
 
圖2 增強現實的三要素
還有一個與增強現實相近的概念，就是所謂的增強虛境（Augmented Virtuality，AV）。增強現實的基礎說到底還是現實世界，利用虛擬的信息將其增強擴展；而增強虛境的基礎則是虛擬世界，利用現實世界的信息將其增強擴展。例如，給虛擬美術館裡加上再現了實物美術品的虛擬展示物，那麼該展示物就使虛擬世界（虛擬美術館）得到了增強擴展。無論是增強現實還是增強虛境，根據用途或應用的目的，現實世界信息和虛擬世界信息的混合搭配比例差別是很大的。如果一點虛擬信息要素都沒有的話，那就單單是現實世界；如果完全丟棄現實世界的信息，只剩虛擬信息的話，則與虛擬現實等價無二。也就是說，如果將現實世界和虛擬現實世界當作兩端，那麼就可以大致區分出靠近現實世界一側各層次的增強現實及靠近虛擬現實一側各層次的增強虛境，由此構成邊界並不明確的技術系列。Milgram等人1994年就研究這樣一個技術連續體，提出了Reality-Virtuality Continuum（R-V連續體）的概念（圖3）。另外，更廣義的一個概念，包括增強現實和增強虛境在內的，某種比例的現實世界與虛擬世界的混合體，則稱作混合現實感MR（Mixed Reality），或者叫作複合現實感。
 
圖3 R-V連續體

3．增強現實的發展
20世紀90年代之前是與增強現實相近的概念和系統緩慢發展的時期。時任美國科學研究和開發辦公室主任Bush等人在20世紀30年代提出的Memex概念應該是最早描繪出來的、借助科學技術可以實現的未來增強現實思想。Memex描繪了利用當時所能想到的最尖端科學技術實現支持人類信息檢索活動的一種理想的外部記憶裝置。Memex將書籍、圖像、報紙等各種信息存放在微縮膠捲裡，只須鍵入與想要查詢信息相關聯的代碼，相關信息即刻投影在指定的觀察位置上。Bush發表于1945年的文章《誠若所思》（As We May Think）描述了一個進一步擴展了Memex概念的、能令人聯想到類似于現在的萬維網或移動虛擬現實的系統。
1957年，Morton Heilig設計出了多感覺（多模態）顯示器Sensorama。這是最早的一台能夠將立體聲、氣味、風、振動等各種各樣的感覺與膠片影像搭配合成呈現的裝置。不過，Sensorama是機械式的系統，不能動態地編輯其所展示的內容。
1965年，Sutherland提出了終極顯示器（The Ultimate Display）的設想。該設想最早提出要通過感知用戶的行為動作來生成與之同步的計算機影像，讓人們能夠獲得置身於人造三維世界中的體驗。1968年，體現這一設想的光學透視頭盔顯示器（Optical See-Through Head Mounted Display，OSTHMD）、機械式三維傳感器、渲染用計算機等設備面世，實現了與用戶行為動作同步的實時三維計算機圖形處理。這是第一套完全具備用戶行為測量感知、三維場景更新處理、顯示器上的信息顯示三功能要素的閉環反饋系統，堪稱當今增強現實或虛擬現實的鼻祖。
20世紀90年代是梳理增強現實概念、研發基礎技術的黎明期。在此時期，增強現實由於實現的成本高昂，因此主要應用於具有相應經濟承受能力的軍事、醫療、工業製造等領域。1990年，Caudell等人將利用透視頭盔顯示器HMD對應用戶所處位置顯示影像的技術命名為增強現實（Augmented Reality），討論了該技術的各項優點及其在製造業的應用前景。此後，增強現實的各項單元實現技術的研發日益活躍。例如，暦本純一於1994年首次研發了以圖像圖案（二維碼）作為標識物的增強現實導航系統NaviCam（圖4），又於1996年提出了將圖像圖案（二維碼）不僅僅當作標識物，還用於作為攝像機與現實環境相對位置姿態識別的增強現實標識（marker）CyberCode。1999年，加藤博一等人基於上述思想開發了圖像標識庫ARToolkit。ARToolkit是個開源軟件，對後來增強現實技術的普及貢獻巨大。1998年，Raskar等人首次提出了利用投影設備的空間型增強現實（SAR，Spatially Augmented Reality）思想開闢了增強現實的新形態。
2000年以後，增強現實技術快速普及，在遊戲、時裝秀等休閒領域得到應用。在這個時期，隨著自帶攝像頭手機的廣泛使用，移動終端上的增強現實應用初見端倪。2003年，Wagner等人率先實現了移動終端PDA（Personal Digital Assistant，掌上電腦）的增強現實應用。增強現實真正開始普及還是在2007年左右，而得到公眾廣泛瞭解則是在2009年前後。2007年，索尼電腦娛樂公司SCE（Sony Computer Entertainment Inc）發佈首款增強現實的消費者遊戲“THE EYE OF THE JUDGEMENT（審判之眼）”，2009年6月，穀歌搜索關鍵詞“augemented reality（增強現實）”的關注度第一次超過“virtual reality（虛擬現實）”。2011年，日本任天堂發售增強現實遊戲標配的nintendo3DS便攜遊戲機，越來越多的孩子們平時就能體驗到增強現實。
 
圖4 增強現實導航系統NaviCam（圖片提供：暦本純一）
現如今，不單單是學術領域或產業領域，消費服務領域的增強現實應用範圍也日益擴大。例如，行車導航、行路定位、化妝體驗等日常生活幫助，報紙、雜誌等紙質媒介與智能手機結合的廣告媒體，利用空間型增強現實全息投影技術的演出活動等媒體藝術，增強現實的應用數不勝數。增強現實未來的發展將在第6章進行簡單介紹。
4．本書內容安排
本書的主要讀者為正在從事和準備從事增強現實相關工作的人士，當然，也可以作為增強現實技術相關專業的學生開展畢業設計，以及碩士、博士論文研究的參考書目。本書大致內容結構如下。
? 增強現實的定義、特點、發展歷史、應用範圍（前言）。
? 基礎篇：介紹增強現實至少要掌握的軟/硬件技術（第1章和第2章）。
? 發展篇：介紹實現更高級增強現實所需瞭解的知識和應用案例，雖然這些內容並不是典型增強現實應用必須掌握的（第3章和第4章）。
? 實踐篇：介紹可供讀者參考的

第1章 基礎篇（一） （1）
1．基於標識的位置配准 （2）
1-1 增強現實的標識 （2）
1-2 矩形標識 （3）
1-3 其他類型的標識 （7）
1-4 隨機點標識 （10）
1-5 利用微透鏡片的標識 （12）
1-6 增強現實標識的總結與展望 （16）
參考文獻 （17）
2．基於自然特徵的位置配准 （19）
2-1 概述 （19）
2-2 利用特徵點的識別 （20）
2-3 利用特徵點的跟蹤 （23）
2-4 增強現實的實現原理 （25）
2-5 評價數據集 （27）
2-6 利用深度信息的位置配准方法 （28）
參考文獻 （29）
第2章 基礎篇（二） （32）
1．空間型增強現實（Spatial Augmented Reality） （47）
2-1 幾何配准 （48）
2-2 光學補償 （50）
2-3 光傳輸 （52）
2-4 利用編碼孔徑的投影與離焦補償 （55）
2-5 基於多投影器的高分辨成像 （56）
2-6 高動態範圍投影 （57）
參考文獻 （58）
3．交互（Interaction） （62）
3-1 增強現實環境中交互的基本設計 （62）
3-2 不同硬件配置的交互方法 （63）
3-3 總結 （72）
參考文獻 （72）
第3章 發展篇（一） （78）
1．場景的形狀建模 （79）
1-1 基於主動式測量的密集點群獲取 （79）
1-2 基於被動式測量的點群獲取 （84）
1-3 點群數據處理及其在增強現實和虛擬現實中的應用 （89）
參考文獻 （94）
2．光照一致性 （97）
2-1 光照一致性是什麼 （97）
2-2 光照一致性的構成要素 （98）
2-3 光源環境測算技術 （100）
2-4 現實物體形狀與反射特性測算技術 （101）
2-5 AR/MR的實時渲染技術 （102）
2-6 畫質的一致性 （105）
參考文獻 （106）
3．視圖管理與可視化 （108）
3-1 注釋的視圖管理 （109）
3-2 Diminished Reality（隱息現實） （113）
3-3 焦點與深度的感知 （114）
3-4 小結 （115）
參考文獻 （115）
4．利用自由視點影像技術的混合現實感 （116）
4-1 自由視點影像技術在增強現實領域的應用 （116）
4-2 應用以靜止物體為對象的自由視點影像技術的混合現實感 （117）
4-3 應用以運動物體為對象的自由視點影像技術的混合現實感 （119）
4-4 小結 （125）
參考文獻 （126）
第4章 發展篇（二） （129）
1．多通道/多感交互增強現實 （130）
1-1 多通道增強現實 （130）
1-2 多感交互增強現實 （137）
參考文獻 （143）
2．增強現實與機器人的協同 （147）
2-1 機器人與傳感器 （148）
2-2 機器人與人機交互界面 （149）
2-3 與機器人協同的增強現實技術的可行性 （156）
參考文獻 （157）
3．室內外無縫定位 （158）
3-1 各種測位方法 （158）
3-2 混合定位 （158）
3-3 行走軌跡測算（PDR） （164）
參考文獻 （169）
4．基於增強現實的交流 （170）
4-1 基於增強現實的協同工作 （170）
4-2 使用增強現實的同一地點交流 （176）
4-3 利用增強現實的遠程異地交流 （178）
參考文獻 （185）
第5章 實踐篇 （189）
1．緒論 （190）
1-1 評價指標的確定 （190）
1-2 數據集的準備 （193）
1-3 TrakMark：攝像機跟蹤方法對標的標準化活動 （194）
1-4 小結 （202）
參考文獻 （203）
2．Casper Cartridge （204）
2-1 Casper Cartridge項目概要 （205）
2-2 Casper Cartridge構成 （206）
2-3 Casper Cartridge開發準備（硬件） （208）
2-4 Casper Cartridge開發準備（軟件與數據） （209）
2-5 Casper Cartridge的選擇 （210）
2-6 Ubuntu Linux用USB記憶棒的製作步驟 （213）
2-7 Casper Cartridge的製作步驟 （216）
2-8 應用Casper Cartridge的注意事項 （217）
2-9 增強現實程序事例 （219）
2-10 增強現實使用的庫（OpenCV、OpenNI、PCL） （224）
2-11 攝像機跟蹤性能指標的計算 （227）
參考文獻 （228）
3．醫療領域的增強現實應用 （229）
3-1 診療現場應用 （229）
3-2 手術導航 （232）
3-3 醫療教育應用 （235）
3-4 遠程醫療交流應用 （237）
參考文獻 （239）
4．產業領域的增強現實應用 （241）
4-1 產業領域的增強現實應用事例 （241）
4-2 產業增強現實應用系統的性能指標 （244）
參考文獻 （247）
第6章 結束章 （248）
1．今後的增強現實 （249）
2．增強現實的遠景 （252）
參考文獻 （254）
作者介紹 （255）