基于深度学习的透明物体阴影检测与深度补全算法研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:ysc4444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
日常环境中经常存在着透明物体。在深度相机捕获的深度图中,因为透明物体本身特殊的光学特性,导致透明物体对应的深度值缺失或者不准确。因此,深度补全技术对于物体重建和环境感知具有重要意义。同时,RGB图像特征是深度补全算法的关键因素之一,阴影去除预处理能够更好地辅助网络提取RGB图像的关键特征。本文建立了一个透明物体的阴影检测数据集,并提出了基于半监督学习的自校正阴影检测方法;进一步针对经过去阴影处理的RGB图像和不完整的深度图,提出了基于体素和深度学习的透明物体深度补全算法。具体的研究内容如下:首先,针对现有的阴影检测数据集缺少透明物体的问题,建立了包含800组图片的透明物体阴影检测合成数据集(A dataset for shadow detection of transparent objects,简称TSD)。基于blender平台构建透明物体的物理模型,通过设置透明物体数量,形状,光源的方向以及真实背景等参数渲染不同的透明物体阴影图片。利用lableme软件对每张阴影图片人工标记阴影区域,得到阴影mask图片。另外,在保持光照一致性的前提下,渲染每张阴影图片对应的无阴影图片。最后,选取三种现有的阴影检测算法在TSD数据集上进行实验验证,实验结果表明,TSD数据集可以用于透明物体的阴影检测任务,但是传统的阴影检测算法在透明物体阴影检测方面的性能有待提升。其次,针对现有阴影检测算法在透明物体阴影区域漏检测问题,提出了基于半监督学习的透明物体阴影检测自校正算法。构建了融合注意力机制的循环阴影检测主干网络,同时针对部分阴影区域易被误检测为非阴影区域的问题,设计了阴影区域补充检测网络,自动校正阴影检测主干网络的误差。针对大量标记数据带来的人工标注问题,借鉴半监督学习方法,将标记数据和无标记数据组成的混合数据集的阴影检测结果作为伪标签,对经过数据增强之后的混合数据集进行一致性训练。同时,搭建了生成对抗网络(Generative Adversarial Networks,简称GAN)模型,利用阴影图片和预测的阴影mask进行训练,预测无阴影图片。最后,在新建的透明物体阴影检测数据集TSD和非透明物体阴影检测数据集中对该检测算法进行了验证,实验结果表明,所提算法在包含透明物体的图片和不包含透明物体的图片中均能够有效的检测阴影区域,并预测准确的无阴影图像。最后,针对RGB-D相机捕获的深度图中透明物体深度值缺失问题,提出了基于体素和深度学习的透明物体深度补全算法。将图像映射到体素空间,根据输入深度图计算有效点云和占用体素。结合相机射线方向,筛选占用体素中与相机射线相交的体素。利用RGB图像中包含的图像特征和由点云图像计算得到的相交体素内有效点,采用多层感知机算法预测透明物体缺失的深度值,并在表面法线一致性约束下对初步预测的深度值进行优化。实验结果表明,所提算法预测深度图中缺失的透明物体深度值的准确度要高于Clear Grasp算法。
其他文献
报纸
<正>95年前的8月1日,在中国共产党的领导下,南昌城头打响了武装反抗国民党反动统治的第一枪。“像划破夜空的一道闪电,使中国人民在黑暗中看到了革命的希望,在逆境中看到了奋起的力量。”自那时起,青年有了梦想,到人民军队中去,跟随中国共产党浴血牺牲、努力奋斗,为中国人民求解放、求幸福,为中华民族谋独立、谋复兴;自那时起,民族有了希望,中国人民不再是一盘散沙,几亿人民拧成一股绳,紧紧地团结在中国共产党的
期刊
海洋蕴藏着丰富的生物和矿产资源,探索海洋显得尤为重要,而水下目标跟踪应用领域也十分广泛,例如水产养殖计数和水下生物多样性监测等。但水下环境面临图像清晰度较差,目标自由度高,姿态变化多等问题,这使得常见目标跟踪算法应用至水下时,效果变得不尽如人意。而随着深度学习快速发展,以孪生网络为基础的目标跟踪算法在面对复杂场景下的跟踪性能较好。因此本文针对水下环境的复杂性,对基于孪生网络系列跟踪算法进行了深入研
学位
伴随分布式发电技术的开发与利用,风能、太阳能等分布式可再生能源不断接入配电网,在用户侧提供充足的电能支撑。高海拔地区风光特性较为突出,但分布式能源发电具有的不确定性和间歇性,因此,需要配置一定容量的储能来抑制这种影响,保证配电网在恶劣自然环境下安全可靠运行。本文以高海拔地区配电网系统为研究背景,对该地区储能配置技术进行研究,其中包含储能系统的选址、定容以及调度运行等,主要研究工作如下:针对单一储能
学位
故障诊断是系统在运行过程中,确定系统运行正常或异常,以至于及时发现该系统故障及其原因,并能预报故障发展趋势的技术。因此,故障诊断已经成为自动控制领域一个重要的课题。基于线性系统模型的故障诊断方法的研究工作已取得一系列成果,而如何开展带有扰动等不确定性的非线性系统的故障诊断方法逐渐成为当前的热点和难点问题。本文针对考虑执行器故障、传感器故障和扰动的一类不确定非线性系统的故障诊断问题进行了研究。主要研
学位
随着人类社会的进步与发展,环境与能源问题已成为当今亟需解决的问题。由于煤炭、石油与天然气等传统能源的长期使用,温室效应日益加剧,因而考虑使用其他清洁能源取代其在部分产业中的使用,而风能作为重要的清洁能源,由于其环境效益好、永不枯竭等优点,近年来成为各国大力发展的对象。风力发电是新能源发电技术的重要组成部分,风力发电机组的运行安全问题以及风力发电机组的控制问题是风力发电系统的核心问题。由于风力发电系
学位
<正>中国建筑第四工程局北京公司河北分公司(简称中建四局北京公司河北分公司)系世界500强第9位——中建集团旗下主力公司中国建筑第四工程局做优北方市场组建的局属区域公司——中建四局北京公司的下辖分公司。2020年6月,进驻石家庄,开启创业新篇章。是中建四局紧跟国家战略导向,布局北方市场,推动企业高质量发展的重要战略支撑。是北京公司深入推进京津冀协同发展,深耕北方市场,贯彻新发展理念,抢抓新发展机遇
期刊
对中药中重金属及有害元素污染情况进行分析,对历版《中华人民共和国药典》逐步完善的中药中重金属及有害元素检测方法、限量标准和指导原则进行总结,并与国内外植物药中重金属及有害元素限量标准进行对比。同时,根据笔者团队多年的研究实践,对中药中重金属及有害元素限量标准的研制过程以及2020年版《中华人民共和国药典》植物类重金属及有害元素一致性限量指导值的制定思路进行梳理。目前,《中华人民共和国药典》中药重金
期刊
退役士兵作为国防建设的重要储备力量,也是地方社会发展的重要人力资源。退役士兵重新进入社会后,面临着就业创业、职业技能培训和社会福利政策等问题,影响个人择业与职业发展的同时关系着社会经济发展。文章运用问卷调查的方法分析了100名退役士兵就业安置的状况,为退役士兵融入社会、提升就业能力、实现自我价值提供了理论基础,并从社会支持理论的正式和非正式两个维度提出帮助退役士兵建立社会关系、形成互帮互助小组的策
期刊
近年来,汽车的普及给人们带来了巨大的方便,同时也造成了交通安全、交通拥堵等一系列的社会问题,人工智能领域所带来的智能交通系统有望解决这些问题。识别道路交通标志是智能交通系统中一个重要的环节,对辅助驾驶系统和无人驾驶等技术起到了推动作用。传统目标检测算法在实际应用中存在着很大的弊端,例如:易受光线、行车速度、障碍物遮挡等因素限制,而基于深度学习的目标检测算法弥补了传统目标检测算法的缺点,能够达到比较
学位