增强现实技术是一种全新的人机交互技术,它通过计算机技术将虚拟的信息叠加到现实中,通过虚实融合提升人的感官体验,从而使用户增强对真实世界的理解。目前,增强现实技术在娱乐、医疗、建筑、教育、工业、军事等领域发挥着重要作用。它的关键特点是虚实融合,即计算机渲染的虚拟物体与真实环境在视觉效果上实现时空一致的匹配融合显示,具体包括内容、空间几何、时间、光照等多个层面的融合。目前增强现实技术体系着重解决虚实物体的空间几何一致性,而对视觉效果影响更为显著的光照一致性问题尚缺少系统性的技术方案。在增强现实系统中,虚拟物体和真实物体共享同一真实光照,因此,正确估计出真实的光照情况将有助于实现虚实物体的光照一致性,从而提升虚拟物体的真实感。目前对于光照估计的研究还相对较少,光照参数的获取方法大多为测量法,尚缺少针对单目图像的光照估计方法。对于增强现实系统来说,其光照一致性问题仍没有较好的解决方案,特别是缺乏完备成熟的基于单目图像的光照估计框架或体系。本文针对这一问题重点研究了基于单目图像的光照估计方法,并与增强现实技术相结合,设计了具备光照一致性的增强现实系统。本文首先提出了一种基于深度学习的光源检测与分割算法,分析和理解存在于真实场景中的光源,并将其分割出来。算法首先构建全卷积神经网络模型,然后利用反卷积层将不同卷积层的特征图加以融合,得到更为鲁棒的输出结果,最后将网络输出的特征图送入全连接条件随机场,优化光源解析结果。本文的光源解析算法能够接受任意尺度的输入图像,而且输出结果既保留了图像的空间信息,又能还原出较多的光源细节,端到端地得到每个像素的预测结果,为增强现实系统光照一致性框架的研究提供了基础。随后提出了一种基于多尺度神经网络求解单目图像深度的方法。首先使用尺度较大的网络估计场景的全局结构,然后采用尺度较小的网络利用其底层的局部特征对全局结构进行细化,并考虑像素间的深度关系作为损失函数来训练网络模型来恢复场景的深度信息。实验表明,本文的深度估计算法具有较小的平均估计误差,不同物体之间具有较清晰的过渡,无需任何先验就可以实时进行单目图像的深度估计,有利于开展增强现实系统基于单目图像的光源三维信息重建方法研究。最后,开发了一种具有光照一致性的增强现实系统。首先针对二维图像缺失三维信息的问题,利用之前恢复出的场景光源和深度信息,并计算求解相机参数,进行真实场景的光源三维信息重建;随后依据不同边缘类型的光度特性对边缘类型进行分类,在灰度边缘算法的基础上进行迭代加权,估计光照色度信息,再结合相机响应曲线的逆函数计算光亮度;然后用完整的光照参数照亮虚拟物体,实现虚拟物体的渲染;最后在增强现实设备Microsoft Holo Lens中进行光照一致性验证。本文方法既不需要附加的标志物或特殊的拍摄设备,也不需要场景的几何先验,基于单目图像就可以实现场景多个和多种类的光源三维重建和光照强度恢复。光照估计方法的时间复杂度满足实时交互的需求,适用于动态场景。这为增强现实系统提供了一种非常便捷、实用、可靠的光照估计方法。本文的研究成果丰富了增强现实系统的虚实融合方法,通过构建光照一致性框架,提高了虚拟物体叠加到真实世界中的真实感,有效提升了虚实合成场景的渲染品质。