基于深度学习的场景理解技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lj780427
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维场景理解是计算机视觉与计算机图形学领域非常热门的研究方向,在增强现实、游戏制作等行业有着广泛的应用。场景的表面法向估计,对于三维场景解析、场景的2.5D布局描述及光照信息提取等具有重要作用。而现有场景表面法向估计方法通常无法获取到数据的整体分布,估计出的表面法向往往比较模糊,精度较低。本文针对这些问题,设计了一种基于生成对抗网络的法向估计模型,并在此基础上结合球面调和函数,完成了单幅RGB室内场景图像中光照信息直接提取和增强现实中虚实结合等工作。论文所做的主要工作如下:(1)设计了一种基于生成对抗网络的法向估计模型,以实现三维场景理解中表面法向的准确估计;在使用一个基准模型对法向估计任务进行探索后,针对出现的天花板难以辨别等场景布局特征提取困难问题,在基准模型基础上设计了全局特征网络,并加入自注意力机制进一步寻求特征的全局依赖,提取出了场景整体布局特征信息。在此过程中,为了解决竖直平面法向预测相反问题,设计了一个先验条件网络提供室内法向的布局标准,在解决问题的同时加速了网络的收敛;损失函数部分,在计算了传统生成对抗网络损失以及真实图像与生成图像之间曼哈顿距离的基础上,增加了像素层面的角度误差损失,进一步改善法向估计结果;并在标准数据集NYU Depth V2上对所设计的算法进行了评估,验证了算法设计的合理性与有效性。(2)针对传统光照提取方法中深度信息噪声较大等问题,本文在上述工作基础上,利用单幅RGB场景图像中所获取的精确表面法向信息,结合球面调和函数,可直接实现单幅RGB场景图像中光照信息的高效、准确提取。并利用所获取的光照信息绘制出虚拟物体,将之融入原始二维RGB图像中,完成满足光照一致性的虚实结合应用,进一步证明了本文所设计的算法在表面法向估计以及光照信息提取任务中的有效性。
其他文献
国内高校科研团队诚信缺失有五种较为典型的表现形式:一是科研团队研究人员过于追求科研经费、职称晋升和学历学位而导致其研究目的不够纯;二是科研团队过于急功近利,追求“短平
新疆是我国重要的战略能源储备基地之一,其巨厚煤层资源赋存丰富,高效开采对缓解东部地区煤炭产能和生态环境压力具有重要作用,但开采过程中面临的覆岩活动空间尺度大、重复
本文根据CSS布局教学过程中的要点还有学生的具体情况,在教授学生的方式方法等方面做了探究,最后为高校对学生进行理论和实践教育提出建议。
目的:探讨经黄芪多糖诱生脐血来源的树突状细胞(DCs)体外介导的抗白血病细胞的细胞毒效应。方法:无菌条件下采集脐血,用淋巴细胞分离液分离获得脐血单个核细胞。分为两组,实
近年来,我国经济下行压力逐渐加大,经济增速减缓,在2015年增速更是降低到7%,我国经济进入了增速减缓的经济新常态,创新被摆在国家发展全局中的核心地位。虽然我国在科研投入
本研究探讨了地理信息系统(GIS)技术与层次分析模型和灰关联综合评价模型的结合在土壤质量评价中的应用.并以广东省东莞赤红壤农业现代化试验区为例,应用ArcInfo进行空间数据
信息技术的发展对于图书馆地方信息资源的建设既提供了机遇,也发出了挑战。基于此,分析了新时代互联网、物联网环境下信息资源建设的新特征,说明了地方信息建设在网络信息环
开放大学重在培养实践人才,现代经济建设发展过程中,对建筑类人才的需求量非常大,开放大学对这类人才的培养起到了十分重要的作用。开放大学建筑类人才的培养目标,就是要培养
学生作为学的主体,其主观能动性的调动一直是奋斗在教学一线的教师所关注和探索的问题。基于对数字时代知识获取和教学模式变革的思考以及对虚拟现实技术在教学上优势的认识,