本书主要依托国家自然科学基金“共融机器人基础理论与关键技术研究”重大研究计划：面向室外复杂光照与气象条件的共融机器人多模感知系统（项目编号：91648118）的研究成果，结合作者多年的科研及工程实践经验，针对复杂的光照环境与气象条件明显降低机器人视觉鲁棒性的问题，主要从大气物理与光学成像的新角度出发去详细系统地论述复杂光照（如阴影，反光）与恶劣天气（如雨雪雾）环境下机器人视觉系统的环境感知、建模、及图像预处理技术。主要内容涉及光照建模与光谱计算、阴影、反光的建模、检测与去除、本征图像获取与光照分解、雨雪雾的建模与去除、水下散射的建模与去除，并给出了一些机器人应用实例和工作展望。这些技术将图像与环境建立了关联，对于提高机器人的自主环境感知能力具有一定的意义，使其具有全天候作业能力。
本书主要论述机器人视觉系统在复杂光照（如阴影，反光）与恶劣天气（如雨雪雾）等条件下的环境感知、建模、及图像预处理技术，实现机器人对外界光照环境的智能感知，使其具有全天候作业能力。
研究表明，人类有超过70%的信息是依靠视觉进行感知的。与之相似，视觉系统对于机器人来说也至关重要，它是机器人理解环境、执行任务的基础，也是实现机器人智能的重要入口。近年来，随着深度学习技术的飞速发展，视觉中面向具体任务的研究（如视觉伺服、目标识别、跟踪和图像理解等）已经取得了显著进展。然而，需要注意的是这些视觉算法都是针对质量好、光照条件稳定的图像开发的。实际上，机器人经常需要工作在复杂、动态、非结构化的环境中，此时视觉算法往往缺乏对环境的自适应能力及鲁棒性。这个问题一直是机器人视觉及相关学科的重要研究内容，但一直未得到较好的解决。
不同于仅对图像数据做数学处理或机器学习的方法，本书将阐述从研究物理成像机理的角度出发对图像中的光照和天气现象进行建模与分析的方法。本书以笔者已发表的学术成果为基础，详细系统地论述复杂光照与恶劣环境下机器人视觉系统的环境感知、建模及图像预处理技术，对于提高机器人的环境感知和环境共融能力具有一定的科学意义。同时，这些内容对于其他户外视觉系统，如自动驾驶、城市监控、遥感、水下视觉，以及一些军事应用等，也有一定的借鉴意义和应用价值，使其具有全天候视觉能力。
本书的内容主要包括室外光谱辐照度计算、相机成像建模、反射光谱计算及光照变换、阴影和反光的建模与处理、雨雪雾的建模与处理，以及水下散射的建模与处理。具体地，本书的结构如下：第1章为绪论，主要阐述颜色匹配和场景复现的基本原理并总结全天候机器人视觉的关键技术；第2章主要阐述室外光源光谱辐照度的分析与计算，以及基于图像的反射光谱重建；第3章主要阐述数字相机成像过程建模、相机响应函数估计及光照变换；第4章主要阐述阴影的建模、检测及特征评价；第5章主要阐述本征图像获取与光照分解；第6章主要阐述阴影及反光去除算法；第7章主要阐述雨雪建模与去除算法；第8章主要阐述图像去雾算法；第9章主要阐述水下散射的建模与去除算法；第10章展示了全天候机器人视觉的应用实例并进行了简单的研究展望。
本专著是在我们团队已发表论文的基础上凝练而成的。在此，向已发表论文的主要合作者唐延东研究员、韩志研究员、屈靓琼博士、任卫红博士、崔童博士、吴登禄博士、李鹏越博士生、王国霖硕士生等表示诚挚的谢意。
感谢国家自然科学基金“共融机器人基础理论与关键技术研究”重大研究计划项目（91648118）、创新群体项目（61821005）、面上项目（61473280）、青年项目（61102116）、中国科学院青年创新促进会人才专项基金“兴辽英才计划”人才专项基金（XLYC1907039）等的资助。
本书涉及大气物理、成像光学及图像处理等多学科的知识，笔者自认才疏学浅，书中难免有疏漏与不足之处，万望读者朋友不吝指教。
田建东，中国科学院沈阳自动化研究所机器人学国家重点实验室研究员、博士生导师，主要从事机器人视觉、图像处理和模式识别等方面的研究，尤其关注视觉系统在复杂光照、恶劣天气等条件下的稳定性等瓶颈问题。以第一或通讯作者在IEEE Trans. Image processing、IEEE Trans. Multimedia、Optics Express、IEEE CVPR等国际知名期刊和会议上发表论文40余篇。作为负责人主持了科技部国家重点研发计划、国家自然科学基金共融机器人重大研究计划等项目10余项。研究成果在机器人学国家重点实验室承担的面向国家重大需求的多个机器人项目中应用效果明显，提高了他们在复杂视觉环境下的适应和作业能力，先后获中国自动化学会自然科学一等奖、辽宁省自然科学学术成果奖一等奖（两次）以及辽宁省科技进步二等奖。入选IEEE Senior Member、中国科学院青年创新促进会优秀会员等。
第1章绪论（1）
1.1机器人视觉简述（1）
1.2复杂光照及恶劣天气对机器人视觉的影响（2）
1.3颜色匹配函数与场景复现基础（6）
1.4全天候机器人视觉关键技术概述（12）
1.5本书的主要内容与结构（23）
参考文献（26）
第2章适于机器人视觉计算的光照与反射计算（29）
2.1引言（29）
2.2面向机器人视觉的室外光源光谱辐照度计算（32）
2.3波长灵敏度控制的反射比重建（43）
参考文献（50）
第3章成像建模与光照变换（52）
3.1数学相机成像建模（52）
3.2数字成像过程解析与仿真（54）
3.3相机响应函数估计（64）
3.5图像光照变换（69）
参考文献（70）
第4章阴影建模及检测（72）
4.1引言（72）
4.2阴影的三色衰减模型（73）
4.3阴影通道线性模型（76）
4.4基于三色衰减模型的阴影检测（83）
4.5基于线性模型的阴影检测（88）
4.6阴影检测特征评估（97）
参考文献（108）
第5章本征图像与光照分解（109）
5.1本征图像获取（110）
5.2本征光照分解空间（128）
参考文献（140）
第6章阴影及反光去除（141）
6.1基于线性模型的阴影去除（141）
6.2基于深度学习的阴影去除（144）
6.3反光去除（156）
参考文献（168）
第7章雨雪建模与去除（170）
7.1基于全局和局部低秩分解的雪花去除（170）
7.2基于矩阵分解的雨雪去除（178）
7.3基于深度学习的单幅图像雪花去除算法（186）
参考文献（195）
第8章图像去雾（197）
8.1基于隐区域分割和权重L1范数正则化的图像去雾（198）
8.2基于吸收透射率补偿及时空导向滤波的实时视频去雾（208）
参考文献（219）
第9章水下散射建模与处理（220）
9.1基于光场成像的强散射水下图像恢复（220）
9.2基于双透射率水下成像模型的图像颜色校正（232）
参考文献（240）
第10章应用实例与研究展望（242）
10.1全天候机器人视觉的应用实例（242）
10.2研究展望（259）
参考文献（261）
书单推荐
