《虚拟现实开发基础(AR版)》首先介绍虚拟系统实现所需的基本知识,涉及虚拟现实技术的基本概念、特点、应用等内容,以及感知基础、硬件基础、数学基础、编程基础以及建模基础等内容; 然后对各类系统的技术实现进行讲解,包括基于HTC VIVE、基于智能手机、基于投影的虚拟现实系统、混合现实系统以及全息显示系统等各类应用系统; 后介绍虚拟现实系统的评价方法。通过本书的学习,读者可以较好地掌握虚拟现实的基本知识和相关开发技术,并学以致用。 本书适合作为高等学校或高职高专院校相关专业的教材,也可作为虚拟现实研究人员或应用开发人员的参考用书。
《虚拟现实开发基础(AR版)》详解Unity3D环境下多个虚拟现实系统(包括基于HTC VIVE、Hololens、手机及投影)的完整开发流程,提供全部源码。
手机扫描书中图片,直接观看AR演示视频。
讲解虚拟现实系统开发的基础原理和技术。
虚拟现实(Virtual Reality,VR)技术主要是通过计算机模拟产生一个3D虚拟世界,让用户在其中通过视觉、听觉、触觉等感知体验,产生身临其境的感觉。虽然虚拟现实技术已有几十年的发展历史,但由于设备昂贵、交互体验不理想、内容生成成本高等原因,其应用一直比较有限。直到2014年,Facebook公司收购Oculus,被认为是虚拟现实成为未来计算平台的标志性事件。几乎同时,日本索尼公司也宣布了自己的虚拟现实项目Morpheus。微软公司也于2015年1月发布了增强现实头戴设备HoloLens。2015年6月,迪士尼互动娱乐公司宣布正将传统游戏拓展至虚拟现实世界,打造虚拟现实乐园。目前,虚拟现实已经成为国内外学术界研究的热点,也成为产业界投资的重点领域,使得虚拟现实技术在教育、航天、医疗、娱乐等众多领域得到广泛应用。
2016年,国务院在《十三五国家信息化规则》《国家创新驱动发展战略纲要》等文件中就明确指出加强VR等新技术的研发和前沿布局。2017年国务院印发的《新一代人工智能发展规划》提出大力发展虚拟现实,建立虚拟现实的技术、产品、服务标准和评价体系,推动重点行业融合应用。2018年工信部发布《关于加快推进虚拟现实产业发展的指导意见》,提出加快我国VR产业发展。国家发改委在《产业结构调整指导目录(2019年本)》中将虚拟现实列入鼓励类产业,这意味着国家已经将这项技术归入新一轮世界科技革命和产业变革之中。教育部则在《普通高等学校高等职业教育(专科)专业目录》中设置虚拟现实应用技术专业,从2019年开始实行,并于2020年2月将虚拟现实技术本科专业纳入《普通高等学校本科专业目录(2020年版)》。
山东大学是国内较早研究虚拟现实技术并开设虚拟现实课程的高校之一。在十三五国家重点研发计划云端融合的自然交互设备与工具(2016YFB1001403)面向服刑人员心理矫治的VR训练装备及系统研发(2018YFC0831003)以及国家自然科学基金面向头盔式虚拟现实系统的人体移动交互技术研究(61972233)基于多道生理信号的心流体验识别及心流调节型VR系统研发(6180070421)的资助下,结合多年来的教学实践,作者将近年的工作进行归纳整理,形成本书。
本书的特色之一是侧重虚拟现实技术的实际应用,比较全面地介绍与虚拟现实开发相关的基础知识,及各种类型的虚拟现实系统的实现方法。本书首先简单介绍系统实现所需的基本知识,然后侧重对各类系统的技术实现进行讲解,涉及虚拟现实技术的基本概念、特点、应用等,以及感知、硬件、数学、编程、建模等基础知识。然后介绍了头盔式虚拟现实系统、基于投影的虚拟现实系统、混合现实系统以及VR全景视频系统等各类VR应用系统,也对全息显示系统进行了介绍。后针对虚拟现实系统的评价方法进行了系统的整理和介绍,也具有实战操作指南的性质。希望通过本书的学习,读者可以比较全面地了解、掌握虚拟现实的基本知识和相关开发技术,能够学以致用。本书适合作为高等学校或高职高专院校相关专业的教材,也可作为虚拟现实研究人员或应用开发人员的参考用书。
本书的另一特色是采用AR技术演示书中部分内容,使得读者在阅读本书的时候,通过手机扫描书中相应部分图片即可看到以2D/3D动画、普通视频、VR视频或VR系统演示的形式对相关内容的讲解,从而加深对书中知识的理解。
本书主要由杨承磊、关东东、盖伟、卞玉龙、刘娟执笔撰写,刘娟设计了AR演示内容。本书第1章由杨承磊、盖伟编写,第2章由关东东、杨承磊编写,第3章由卞玉龙、杨承磊编写,第4章由杨承磊、关东东编写,第5章由关东东编写,第6章由关东东、刘娟编写,第7章由刘娟、杨承磊编写,第8章由盖伟、卞玉龙编写,第9章由盖伟、杨承磊编写,第10章由盖伟、刘娟编写,第11章由刘娟、关东东编写,第12章由卞玉龙编写。孙维思、秦溥、周士胜、赵思伟、李慧宇、王秋晨、邢欢、孙千慧、马鸣聪、陈叶青、宋英洁、靳新培、耿文秀、郑雅文等研究生参与了书中程序的开发和部分内容的编写工作,上海恒润文化集团有限公司副总裁王宇、济南奥维信息科技有限公司总经理李军提供了部分素材。书中部分图片和内容引自互联网,有些难以确定作者或出处,故在本书中没有标注,请相关作者海涵。
本书由杨承磊、关东东、盖伟统稿、修改和审定。由于时间仓促,编者水平有限,书中内容或有局限、欠妥之处,恳请读者和同行不吝指正。
本书的配套课件、教学大纲、书中程序代码及Unity3D、Maya操作演示视频等资源可以从清华大学出版社官方网站www.tup.com.cn或清华大学出版社官方微信公众号书圈(itshuquan)下载。读者如有关于本书及资源使用的问题与建议,请发邮件至404905510@qq.com。
编者
2020年12月
观看视频说明
本书配套视频300分钟,一部分视频是扫图片观看(用AR技术实现),一部分视频是扫二维码观看,还有部分视频更适合在计算机上观看,因此作为网络资源直接提供下载。本书视频目录可通过图1所示的二维码获取。
(1) 用手机扫描如图2所示的二维码,下载文泉云盘APP,安装后用微信账号登录。
(2) 登录后,扫描本书封底文泉云盘涂层下的二维码,绑定微信账号,即可获得观看视频权限。
(3) 书中部分图的旁边有如图3所示的标识,在文泉云盘APP中扫描这些图片(打开扫一扫窗口,先单击窗口左下角的、如图4所示的图标,再扫描图片),即可观看视频。
在文泉云盘APP中或微信中扫描书中二维码(用APP扫码时,先单击窗口右下角的二维码图标再扫码),即可观看视频。
杨承磊,男,于1995、1998、2004年先后获得山东大学计算机应用专业理学学士学位、计算机软件与理论专业工学硕士和博士学位。目前为山东大学计算机科学与技术学院教授。2007年1至7月在香港大学计算机科学系开展合作研究,2010年6月至2011年6月在哈佛大学做访问学者。
研究主要围绕工业CAD、文化与自然遗产保护、数字娱乐与远程教育等应用领域,重点开展离散计算几何、人机交互与虚拟现实等方面的理论研究与项目研发工作。先后主持国家自然科学基金3项、国家支撑计划课题1项和省部级项目4项,并作为学术骨干参与完成了国家973计划、863计划等10多项、省部级科研课题,作为骨干成员参与研发出集成化计算机辅助图案设计与制版系统等系统软件,获得国家科技进步奖二等奖1项、教育部科技进步奖二等奖1项以及山东省科技进步奖三等奖1项。目前在CAD、C&G、The Visual Computer、中国科学、软件学报、计算机学报等国内外主要学术刊物与会议上发表论文50余篇。与他人合著《Voronoi图及其应用》、《计算几何及应用》、《人机交互基础教程(第2版)(普通高等教育十一五规划教材)》等专著和教材。
第1章概述
1.1基本概念
1.1.1什么是虚拟现实
1.1.2虚拟现实系统分类
1.2发展历史与趋势
1.3应用领域
习题
第2章数学基础
2.1坐标系、矢量与矩阵
2.1.1坐标系
2.1.2向量与向量运算
2.1.3矩阵与矩阵运算
2.2空间旋转变换表示与计算
2.2.1旋转矩阵
2.2.2欧拉角
2.2.3旋转轴旋转角表示
2.2.4四元数
2.2.5旋转表示形式之间的转换
2.3坐标系的转换
2.3.1齐次坐标系与齐次变换矩阵
2.3.2右手坐标系与左手坐标系之间的转换
2.3.3局部坐标系向世界坐标系的转换
2.3.4世界坐标系向相机坐标系的转换
2.3.5相机坐标系向屏幕坐标系的转换
习题
第3章感知基础
3.1感知原理
3.2视觉
3.2.1视觉的生理机制
3.2.2人眼的视觉暂留现象
3.2.3眼球运动
3.2.4深度感知与立体视觉
3.2.5颜色感知
3.3听觉
3.3.1听觉的生理机制
3.3.2虚拟环境中的听觉内容设计
3.3.3听觉定位与立体声
3.4体觉
3.4.1触觉和力觉
3.4.2本体感觉
习题
第4章硬件基础
4.1输入设备
4.1.1Kinect
4.1.2HTC VIVE定位设备
4.1.3超宽带无线定位设备
4.1.4惯性测量单元
4.1.5手势输入设备
4.2输出设备
4.2.1立体显示设备
4.2.2动感平台
习题
第5章编程基础
5.1Unity3D编程基础
5.1.1Unity3D简介
5.1.2Unity3D集成开发界面基本操作
5.1.3动画角色控制
5.1.4虚拟相机设置
5.1.5Unity3D中函数体的执行顺序
5.2投影式VR系统开发环境
5.2.1视差与立体显示效果的关系
5.2.2渲染立体图像
5.2.3播放立体视频
5.3HTC VIVE开发环境
5.3.1环境配置
5.3.2HTC VIVE头盔
5.3.3HTC VIVE手柄交互
5.4HoloLens开发环境
5.4.1环境配置
5.4.2开发实例
5.4.3交互实现
习题
第6章建模基础
6.13D模型基础知识
6.1.13D模型的组成
6.1.2建模的主要方法
6.2Maya建模客机实例
6.3无人机建模实例
习题
第7章VR全景视频播放系统
7.1VR视频录制
7.2VR视频播放系统
习题
第8章头盔式VR系统
8.1基于HTC VIVE的VR系统
8.1.1系统设计
8.1.2系统实现
8.2基于智能手机的VR系统
8.2.1系统设计
8.2.2系统实现
习题
第9章投影式VR系统
9.1虚拟射击影院系统
9.1.1系统设计
9.1.2系统实现
9.2基于双画的虚拟网球游戏系统
9.3房间式互动投影系统
9.3.1系统设计
9.3.2系统实现
9.4360全景球幕播放系统
9.4.1系统设计
9.4.2系统实现
习题
第10章混合现实系统
10.1基于HoloLens的计算机动画课程教学系统
10.1.1系统设计
10.1.2系统实现
10.2基于鱼缸的混合现实教学系统
10.2.1系统设计
10.2.2系统实现
习题
第11章全息视频播放系统
11.1全息摄影与全息投影技术
11.1.1全息摄影
11.1.2全息投影
11.2全息投影视频制作
11.2.1视频内容设计
11.2.2三维模型制作
11.2.3三维动画制作
11.2.4灯光与渲染
11.2.5特效制作
11.2.6后期剪辑与输出
11.2.7Unity3D设置视频输出及控制视频播放方法
11.3Unity3D实时渲染输出
习题
第12章VR系统评估
12.1VR系统评估的主要内容
12.1.1可用性评估
12.1.2用户体验评估
12.1.3常见的用户体验测量数据类型和采集方法
12.2VR系统评估测试的实施
12.2.1伦理问题
12.2.2基本流程
12.2.3被试选择
12.2.4研究设计
12.2.5实验环境和材料的准备
12.2.6数据分析和呈现
12.2.7讨论
12.3VR系统测试案例
12.3.1案例1: 基于虚拟迷宫系统的测试
12.3.2案例2: 基于虚拟射击影院系统的测试
12.3.3案例3: 三类3D显示技术的比较研究
习题
附录A旋转轴旋转角与旋转矩阵之间的转换推导
附录B四元数旋转公式的推导与理解
附录C立体显示投影矩阵推导
参考文献