增强现实技术导论 pdf下载

适读人群 ：本书可作为计算机科学、电子信息等相关学科的增强现实课程的研究生教材或教学参考书，同时也可以作为虚拟现实、增强现实领域研究人员的参考书。
增强现实技术的目标是将计算机生成的虚拟环境与用户周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。因此，增强现实技术具有虚实结合、实时交互、三维注册的新特点。围绕这三方面，本书的内容主要介绍了增强现实系统的标定方法、实现虚拟与真实环境无缝融合的显示设备、有标识的六自由度跟踪注册技术、无标识的六自由度跟踪注册技术以及适用于移动终端的增强现实系统。典型的应用实例包括基于增强现实技术的轻量级飞行模拟器的开发以及基于增强现实技术的圆明园数字重现定点观察设备。

本书详细介绍了增强现实的基本概念和发展历程；系统阐述了增强现实的关键技术，包括摄像机和系统的标定、虚实融合显示设备、基于标志点的跟踪注册与标志点的优化设计、标志点跟踪注册和混合跟踪注册、渲染技术与虚实场景的缝拼接；全面总结了作者及其团队近年来在上述科研项目的工作中取得的研究成果；逐一列举了增强现实在不同领域的应用实例。在内容的选择上，全书既注意了有关信息的全面广泛，又注重对要点技术的深入探讨。

序
前言
第1章引言1
1.1增强现实技术的概念和发展1
1.1.1虚拟现实技术2
1.1.2增强现实技术3
1.1.3增强现实技术与虚拟现实技术的比较4
1.1.4增强现实系统的性能评价6
1.2增强现实系统中的硬件与软件包7
1.2.1增强现实系统中的硬件7
1.2.2增强现实系统软件包16
1.2.3增强现实技术的国内外研究机构17
1.3增强现实技术的难点19
1.3.1增强现实系统中的头盔显示技术20
1.3.2增强现实系统中的跟踪注册技术22
1.3.3增强现实系统的交互技术24
1.4增强现实技术的应用领域27
参考文献38
第2章增强现实系统的显示技术43
2.1显示设备的分类及概述43
2.1.1屏幕显示器43
2.1.2头盔显示器48
2.1.3投影式头盔显示器52
2.1.4视网膜直接成像显示器55
2.1.5投影显示设备56
2.1.6智能可穿戴显示设备60
2.2.1自由曲面头盔显示器61
2.2.2全息波导型头盔显示器62
2.2.3几何波导型头盔显示器63
2.2.4高性能头盔显示技术64
2.2.5真实立体感头盔显示技术66
2.3增强现实头盔显示器的设计要点73
2.3.1头盔显示器的组成与原理73
2.3.2头盔显示器的光学系统设计要点74
2.3.3部分国内外头盔显示器的设计77
参考文献80
第3章增强现实系统的标定86
3.1摄像机的几何模型和坐标变换86
3.1.1图像坐标系与像素坐标系87
3.1.2图像坐标系与摄像机坐标系87
3.1.3摄像机坐标系与世界坐标系88
3.2摄像机标定89
3.2.1线性模型的摄像机标定89
3.2.2基于平面方格点的摄像机标定92
3.2.3非线性模型的摄像机标定95
3.3基于透视式头盔显示器的增强现实系统标定95
3.3.1视频透视式增强现实系统的标定95
3.3.2光学透视式头盔显示器的标定技术96
参考文献104
第4章基于标识的增强现实跟踪注册技术106
4.1基于标识的跟踪注册技术概述108
4.2常用的标识点111
4.2.1ARToolkit方形标识点111
4.2.2SCR标识点系统116
4.2.3环形标识点118
4.2.4Sony计算机实验室标识点121
4.2.5室内装饰性人工标识122
4.2.6红外标识系统125
4.3各种人工标识系统中的识别定位算法比较127
4.3.1人工标识的形状128
4.3.2标识的颜色128
4.3.3定位标识区域129
4.3.4标识的可识别范围129
4.3.5特征点提取130
4.3.6标识的编码信息量130
4.3.7理想特征的概要130
参考文献130
第5章无标识增强现实三维跟踪注册134
5.1基于场景平面的增强现实跟踪注册135
5.1.1系统初始化135
5.1.2摄像机位姿估计136
5.1.3实验结果137
5.2基于模型和关键帧的注册方法138
5.2.13D场景模型与关键帧的创建138
5.2.2选择参考图像帧139
5.2.3宽基线匹配140
5.2.4摄像机位姿求解141
5.2.5实验结果142
5.2.6算法评价142
5.3基于图像匹配的无标识跟踪注册方法144
5.3.1关键帧匹配144
5.3.22D图像匹配算法145
5.3.3实验结果147
5.4基于SIFT特征的无标识点跟踪注册方法148
5.4.1SIFT特征描述算子149
5.4.2SIFT关键点的匹配150
5.4.3基于SIFT特征的摄像机位姿估计151
5.5基于运动结构重建的跟踪注册算法152
5.5.1MonoSLAM算法152
5.5.2PTAM算法153
5.6混合跟踪注册157
5.6.1根据传感器类型分类158
5.6.2根据传感器融合方式分类160
5.7无标识跟踪注册算法的未来研究方向162
参考文献163
第6章移动增强现实系统169
6.1概述169
6.2移动增强现实系统的研究现状171
6.2.1移动增强现实技术的学术研究171
6.2.2移动增强现实技术的商业应用174
6.3面向智能手机的移动增强现实核心技术178
6.3.1主体结构框架179
6.3.2跟踪定位算法181
6.3.3海量场景的目标识别183
6.3.4人机交互方式185
6.3.5数据通信和传输185
6.3.6功耗186
6.4Android系统开发环境187
6.4.1Android操作系统187
6.4.2手机硬件环境和软件开发环境189
6.4.3OpenCV库编译和基于NDK的开发190
6.4.4部分增强现实功能实现191
参考文献199
第7章增强现实技术的应用实例———轻量级飞行模拟器203
7.1增强现实轻量级飞行模拟器203
7.1.1系统功能203
7.1.2系统结构204
7.1.3座舱视景的虚实融合原理206
7.1.4样机系统实现与测试208
7.2改进型增强现实轻量级飞行模拟器212
7.2.1改进型增强现实飞行座舱系统设计212
7.2.2座舱头部跟踪系统的实验模拟213
7.2.3跟踪器的实验对比结果214
参考文献215
第8章增强现实技术的应用实例———圆明园定点观景器216
8.1第一代定点增强现实观景器216
8.2第二代增强现实定点观景器219
8.2.1第二代增强现实定点系统的优点219
8.2.2第二代系统的构建220
8.2.3增强现实定点观景器的用户使用情况调查221
8.3AR-View增强现实定点观景器224
8.4随动式增强现实定点观景器226
8.4.1系统构成229
8.4.2样机设备与操作使用229

第1章引言
1.1增强现实技术的概念和发展
在信息时代，人们处于计算机日益普及的世界中，从当初几人共享一台计算机的模式转变为一人拥有多台计算机。人们的生活？工作已离不开计算机生成的信息数据。但是，目前计算机仍处于智能化的初级阶段，只是帮助人类进行逻辑思维的有力工具，要使计算机成为人类进行形象思维的帮手。仍有较长的路要走。这一切首先要求计算机能够适应人们所习惯的信息获取方式和思维过程。与真实的环境进行自然融合。这也是计算机技术发展的趋势。图1-1展示了增强现实的概念。将虚拟的三维模型与周围的真实环境完美地融为一体。增强现实系统可以将计算机生成的信息 (包括文字？图像？三维物体等 )以视觉融合的方式叠加至真实场景中。在用户眼前呈现出 “增强 ”了的世界。在理想情况下。用户无法辨别哪个是虚拟物体。哪个是真实物体。看到的将是完整的融合显示场景。因此。增强现实从字面上来说就是对现实的增强。而不是对真实环境的取代。
图1-1圆明园的真实场景与圆明园虚实融合场景
增强现实(augmented reality。AR)是一种利用计算机产生的附加信息对使用者所看到的真实世界景象进行增强或扩张的技术。是跨学科的综合体。增强现实和虚拟现实(virtual reality。VR)联系非常紧密。是虚拟现实发展的扩展或者分支。也增强现实技术导论是近年来的一个研究热点。增强现实系统综合使用了不同研究领域的多种技术。如虚拟现实技术？计算机视觉技术？人工智能技术？可佩戴移动计算机技术？人机交互技术？生物工程学技术等。因此。谈到增强现实时首先需要讨论虚拟现实。
1.1.1虚拟现实技术
“虚拟现实 ”一词是由美国VPLResearch公司的奠基人Lanier于20世纪80年代末首次正式提出的。他将虚拟现实描述为一种逼真地模拟人在自然环境中的视觉？听觉？运动等行为的人机界面技术。自从冯.诺依曼结构的计算机诞生以来。计算机的形式化？逻辑指令化和串行方式与人类与生俱来的形象化？模糊概念化？联想和并行接收处理信息的能力不协调。计算机的运行方式与用户的认识空间和信息空间之间存在鸿沟。从1965年Sutherland提出 “计算机图形学 ”概念至今。人类一直致力于建立尽可能和谐理想的人机环境。这正是虚拟现实技术的历史渊源。
伴随着计算机软硬件技术和传感技术的发展。虚拟现实技术已经不仅以优化人机交互环境为目的。而且更多地结合了计算机仿真和图形学。并借助人类奇妙的想象力。为开拓人类的信息空间和认识手段提供了强有力的途径。虚拟现实系统实现了人与计算机之间通过语言？手势等自然方式进行信息交互。使用户逐渐从 “主动适应 ”发展到 “被适应 ”的地位。更重要的是。用户不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的 “身临其境 ”的逼真感。而且能够突破物理空间？时间以及其他客观限制。感受到在真实物理世界中无法亲身经历的体验。因此。虚拟现实技术具有超越现实的虚拟性。
虚拟现实系统的基本特征被描述为如图1-2所示的 “浸没-交互-构想”。即immersion-interaction-imagination。上述三个特征在虚拟现实系统中相互影响并共同存在。虚拟现实的第一个特征是 “浸没”。又称为临场感？存在感。强调VR境界的逼真性。即用户在计算机所创建的三维虚拟环境中处于一种全身心投入的状态。该环境中的一切看上去是真的。听上去是真的。动起来是真的。甚至闻起来？尝起来等一切感觉都是真的。如同在现实世界中的感觉一样行动自如。让参与者有身临其境的感觉。第二个特征是 “交互”。虚拟现实的交互特性主要通过虚拟现实系统中的交互接口设备实现。通过交互设备人们以自然的方式与虚拟现实环境进行交互操作。第三个特征是 “构想”。强调对人类认知范围的扩展。不仅可以再现真实存在的环境。而且可以随意构想客观世界中不存在的。甚至不可能存在的环境。从图形学的角度来看。传统的计算机图形学强调了三维场景在屏幕上的二维显示。虚拟现实技术则强调三维场景的立体显示。并为参与者创建了在这个立体的三维虚拟世界中的想象空间。上述三个基本特征使得VR技术区别于传统的计算机仿真？遥现技术？多媒体技术和科学计算可视化技术等。归结起来。虚拟现实的概念包括以下含义。
图1-2虚拟现实的三个特征图
(1)虚拟环境是由计算机生成？实时动态？具有双眼立体视觉？三维听觉？触觉及嗅觉等感官信息表现的？逼真的三维图像环境。可以是某一特定现实世界的真实再现。也可以是虚构的世界。
(2)理想虚拟现实技术的 “实时感知 ”应该具有人的所有感知本领。包括视觉？听觉？触觉？嗅觉？味觉？力觉？运动等多种感知渠道。
(3)使用“自然技能 ”是指计算机处理与人的头部转动？眼睛运动？手势和其他人体动作语言相对应的数据。对用户的输入作出实时响应。并分别反馈到感官。
(4)“传感设备”主要是指三维交互设备。包括立体头盔显示器？数据手套？三维鼠标和数据衣等。
虚拟现实技术综合了计算机仿真技术？计算机图形学？多媒体技术？人工智能技术？计算机网络技术？并行处理技术和多传感器技术模拟人的视觉？听觉？触觉等感官功能。旨在通过显示技术？交互技术？传感技术和计算机图形技术的手段。使用户从感官效果上沉浸在由计算机创造的虚拟环境中。目前。虚拟现实的应用已经涵盖了产品设计制造？模拟训练？远程医疗？太空探险？教育培训？科学研究？娱乐等各类军民领域。
1.1.2增强现实技术
增强现实技术是借助光电显示技术？交互技术？多种传感技术和计算机图形与多媒体技术将计算机生成的虚拟环境与用户周围的现实环境融为一体。使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。因此。增强现实系统具有虚实结合？实时交互？三维注册的新特点。图1-3为MIT多媒体实验室开发的第六感装置。配合手势识别？人脸识别等先进技术。将计算机产生的虚拟信息直接投影至真实场景中。
图1-4为用户通过一个医疗教学增强现实系统可能看到的场景。该系统将人
图1-3MIT多媒体实验室开发的第六感装置
脑解剖结构可视化。并准确地显示在观察对象的头部位置。用户将同时看到观察对象的头部外形与其大脑结构。系统不仅可以帮助医学院的学生学习大脑的解剖结构。还可以帮助手术医生准确定位手术部位。提高其临床技能。
图1-4医疗教学增强现实系统
从上述应用可以看出。增强现实技术借助计算机图形技术和可视化技术产生现实环境不存在的虚拟对象。并通过传感技术将虚拟对象准确地 “放置 ”在真实环境中。并借助显示设备将虚拟对象与真实环境融为一体。呈现给用户一个感官效果真实的新环境。
1.1.3增强现实技术与虚拟现实技术的比较
增强现实技术是随着虚拟现实技术的发展而产生的。因此二者存在不可分割的纽带关系。虽然它们所需要的基础技术相同。但二者存在较大的区别。虚拟现实技术综合了显示技术？交互技术？传感技术和计算机图形等技术。使得用户从感官效果上沉浸在一个与其周围环境完全不同的虚拟环境中。而增强现实技术借助显示技术？交互技术？传感技术和计算机图形技术将计算机生成的虚拟环境与用户周围的现实环境融为一体。使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。因此。构建一个增强现实应用系统的目的并非以虚拟世界代替真实世界。而是利用附加的信息增强使用者对真实世界的观察和感知。增强的信息可以是虚拟的三维模型。也可以是真实物体的非几何信息。形象地说。虚拟现实系统试图将世界送入使用者的计算机。而增强现实系统却是把计算机带进使用者的真实环境。可以说增强现实技术在虚拟环境与真实世界之间架起了一座桥梁。具体而言。增强现实技术与虚拟现实技术的差异主要体现在以下四方面。
(1)AR与VR最显著的差别在于两者对于浸没感的要求不同。
VR系统强调用户在虚拟环境中视觉？听觉？触觉等感官的完全浸没。强调将用户的感官与现实世界绝缘。使其沉浸在一个完全由计算机控制的信息空间(cyberspace)之中。这通常需要借助能够将用户视觉与现实环境隔离的显示设备。一般采用浸没式头盔显示器(immersivehead-mounteddisplay。IHMD)。而与之相反。AR系统不仅不隔离周围的现实环境。而且强调用户在现实世界的存在性。并努力维持其感官效果的不变性。AR系统致力于将计算机产生的虚拟环境与真实环境融为一体。从而增强用户对真实环境的理解。这就需要借助能够将虚拟环境与真实环境融合的显示设备。如透视式头盔显示器(see-throughhead-mounteddisplay STHMD)。
(2)AR和VR关于注册(registration)的含义和精度要求不同。
在浸没式VR系统中。注册是指呈现给用户的虚拟环境与用户的各种感官匹配。例如。当用户用手推开一扇虚拟的门时。用户所看到的场景就应该同步地更新为屋子里面的场景。一条虚拟小狗向用户跑过来。用户听到的狗吠声就应该是由远及近变化的。这种注册误差是视觉系统与其他感官系统以及本体感觉之间的冲突。而心理学研究表明。视觉往往占了其他感觉的上风。而在AR系统中。注册主要是指将计算机产生的虚拟物体与用户周围的真实环境全方位对准。而且要求用户在真实环境的运动过程中维持正确的对准关系。较大的注册误差不仅不能使用户从感官上相信虚拟物体在真实环境中的存在性及一体性。甚至会改变用户对其周围环境的感觉。改变用户在真实环境中动作的协调性。严重的注册误差甚至导致完全错误的行为。
(3)AR可以缓解对系统计算能力的苛刻要求。
一般来说。要求VR系统精确再现人们周围的简单环境。需要付出巨大的代价。而其结果在当前技术条件下也未必理想。其逼真程度总是与人的感官能力不相匹配。而AR技术则是在充分利用周围已存在的大量信息的基础上加以扩充。这就大大降低了对计算机图形能力的要求。
(4)AR与VR应用领域的侧重不同。
虚拟现实系统强调用户在虚拟环境中的视觉？听觉？触觉等感官的完全浸没。对于人的感官来说。它是真实存在的。而对于所构造的物体来说。它又是不存在的。因此。利用这一技术能模仿许多高成本的？危险的真实环境。其主要应用在虚拟教育？数据和模型的可视化？军事仿真训练？工程设计？城市规划？娱乐和艺术等方面。而增强现实系统并非以虚拟世界代替真实世界。而是利用附加信息增强使用者对真实世界的感官认识。因而其应用侧重于辅助教学与培训？医疗研究与解剖训练？军事侦察及作战指挥？精密仪器制造和维修？远程机器人控制等领域。图1-5是虚拟现实应用领域之一的虚拟教育示意。学生可以通过虚拟的人体内脏。形象化地理解生理学和解剖学的基本理论。加州大学的Hoffman研制的系统可以带领学生进入虚拟人体的胃脏。检查胃溃疡并可以 “抓取”它进行组织切片检查。图1-6为增强现实领域的辅助教学与培训。不仅医生能够手持手术探针实时地对患者进行胸部活组织切片检查。而且系统可根据此时获得的切片组织情况决定手术探针的位置。指导医生完成手术。对比图1-5和图1-6可以看到。由于增强现实系统中真实环境的存在。用户不仅对融合环境的感知更具真实感。同时增强了对虚拟环境的感知。因而在某些应用领域。增强现实技术与虚拟现实技术相比更具感知优势。
图1-5虚拟人体内脏图1-6AR辅助医疗手术过程
图1-7是Milgram等提出的从现实(reality)到虚拟(virtuality)连续变化的分类概念。从图中可以很明显地区分AR和VR的关系。虚拟环境(virtualenvironment)包括虚拟现实？增强虚拟(augmentedvirtuality。AV)和增强现实。
1.1.4增强现实系统的性能评价
与虚拟现实系统类似。增强现实系统是实时性系统。增强现实系统的用户期。