基于深度学习的图像光照分析研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:secace2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在一张图片中插入虚拟物体时,原始场景光照的恢复对于虚拟物体与真实场景的融合起着十分重要的作用。传统的基于物理的方法不仅复杂而且较难恢复出准确的光照环境,导致真实场景和虚拟物体无法共享同一个光照环境以保证光照的一致性。随着深度学习的不断发展,其在图像光照分析领域得到成功的应用并且取得较好的结果,但是如何从单张图像中恢复出较准确,高质量的环境光照仍然是一个值得探索的问题。本文基于物理和深度学习的方法,分别提出了从单张室外和室内图像中恢复原始场景光照的端到端的方法。针对这两部分内容,本文主要做了如下三方面工作:(1)室外图像太阳方位估计。该部分采用一种特殊的方法引入LAB颜色空间中的L亮度通道,并将其与原始图像的RGB三通道一同构成四通道的输入,以此增强可提取的图像特征。本文也提出了一种新的端到端的全卷积神经网络结构,该网络可以充分提取图像特征。与现有的方法相比,本文提出的方法不仅具有较高的预测准确度而且具有较少的网络参数量。此外,本文还采用剪枝-量化的方法对提出的网络结构进行了压缩优化,压缩后的网络参数量和占用存储空间大大减少,但预测准确度只有微量的下降。(2)室外图像光照分析。对于室外场景,该部分采用Lalonde-Matthews(LM)室外光照模型对图像中的天空和太阳进行建模,并采用7个光照参数对整个场景的光照进行表示。针对这7个光照参数的预测问题,本文提出了一种新的二分支网络结构并在该网络中引入了卷积块注意力模块(CBAM)。实验验证了注意力模块的有效性以及注意力模块数量和嵌入位置对预测结果的影响。与现有的方法相比,本文提出的方法具有更高的预测准确度,还原出的光照情况与真实的场景光照也更加贴近。(3)室内图像光照分析。对于室内场景,该部分采用4阶球谐函数对室内光照进行建模,并采用48个球谐系数对整个环境光照进行表示。由于低动态范围图像中包含的光照信息不充分,因此该部分采用高动态范围环境贴图,并实现从低动态范围图像中预测其对应的高动态范围球谐系数。针对该问题,本文提出了一种漫反射贴图损失函数以提高网络的训练能力。实验验证了漫反射贴图损失函数的有效性以及对预测结果的影响。最终的可视化比较结果表明本文提出的方法可以预测出较准确的球谐系数,采用其还原的光照情况与真实的场景光照较为接近。
其他文献
在面临国内和国外经济均处于下行的情况下,依靠创新驱动是中国未来经济增长的必经之路。近年来,中国对外直接投资的步伐不断加快,积极参与国际经济竞争与合作。而通过对外直接投资获得逆向技术溢出是促进我国技术创新的重要途径。因此,研究中国对外直接投资逆向技术溢出对技术创新的影响具有重要的理论和现实意义。本文首先对中国的对外直接投资现状和技术创新现状进行了描述。其次,通过理论分析,归纳出OFDI逆向技术溢出影
学位
目的:以心肌成纤维细胞作为体外研究对象,观察不同剂量益心泰有效组分对心肌成纤维细胞增殖和凋亡的影响,探讨益心泰有效组分调节心肌成纤维细胞增殖和凋亡作用的可能机制研究。方法:原代和传代培养普通级健康新西兰兔的CFs,利用波形蛋白结合免疫荧光染色法对CFs进行鉴定;用CCK-8法分别检测各组各时间点CFs的增殖活力,以吸光度(OD值)表示。实验分为(1)对照组:心肌成纤维细胞;(2)模型组(Ang I
经过多年的发展,我国法院信息化工作获得了较大的进步,电子化裁判文书就是其中重要成就之一。对电子化裁判文书进行专题分析,成为司法大数据服务国家治理、建设社会文明建设的新方向。通过文献阅读和调研总结,还未发现在垂直行业中有面向裁判文书的分类研究,因此通过裁判文书获取知识,整合知识的工作具有重要的研究意义和应用价值。本文针对裁判文书进行分类研究,做了以下工作:首先对裁判文书结构的研究分析,通过结巴分词对
单元测试是对软件中的基本组成单位(如模块、过程、函数或类)进行的测试,在保障软件质量的过程中发挥重要作用。面向对象语言是一类以对象作为基本程序结构单位的程序设计语言。面向对象程序中涉及到复杂逻辑结构的单元测试具有一定的难度,是单元测试方向研究的热点之一。面向对象程序的自动化单元测试框架,能提高面向对象程序的单元测试效率,减轻测试人员繁重的单元测试任务,有效的降低面向对象软件开发的成本。面向对象程序
妮基·圣法勒(Niki de Saint Phalle,1930-2002),法籍美国雕塑家、画家和电影制作人,欧洲“新现实主义”运动核心成员之一。她以雕塑、绘画、版画及大型公共装置等作品制造出一种混合结合了波普艺术、超现实主义与原始艺术等多种风格的超前性艺术新形态,也是女性主义艺术和早期观念艺术发展中最具代表性的艺术家之一,至今为止,人们依然无法用任何一种艺术流派对她的创作风格进行明确归类。本论
就我国目前大部分城市和地区而言,住房保障体系中是没有共有产权房这一制度的。我国国土面积辽阔,但是可以被人所用的土地资源却很少,而且我国目前人口增长速度飞快,人口基数大,增速快,也导致住房矛盾日益紧张。住房问题作为最基本的切实的民生问题,也是被我国各界人士所关注和重视并提上了我国保障性住房发展体系的日程表中。2020年我们的目标是全面建成小康社会,在以习近平总书记为核心的党中央带领下打赢脱贫攻坚战。
无人驾驶系统融合了智能交通、通信技术、计算机技术等多种技术,为人类出行提供方便。在未来,无人驾驶车的广泛应用能大范围减少交通拥堵,降低交通事故率,因此,无人驾驶车的研发已受到广大关注。它先通过平台中各种传感器来获取交通环境信息,再基于多种语言算法对收集的数据信息进行识别,然后通过决策级融合对识别的数据进行校准和修正,输出较为准确的有效障碍物目标信息,最后通过合适的目标跟踪模型完成对运动目标的位置预
“2019年泰国太阳能农场的发展和管理研修班”是由中国国家商务部主办、湖南省农业集团承办的中国对外援助项目之一,参加研修班的是来自泰国陆军部队的20名学员,笔者负责本次研修班的课堂翻译,内容涉及太阳能概况、太阳能电板的组装与运营等专业知识。笔者以释意理论为指导,对本次翻译实践进行案例分析,运用到的翻译策略包括语言策略,如省译法、改译法、概译法、替代法、重组法、增译法;非语言策略,如体态语和即时询问
学位