【摘 要】
:
随着Kinect等深度传感器的普及和深度学习在计算机视觉领域的广泛应用,基于多模态图像的室内场景解析虽然已经取得了长足进步,但在实际应用中仍然存在不足。一方面,绝大多数算法在训练和测试阶段都依赖RGB-D图像,但彩色图像对用户隐私的侵犯性,以及光学成像导致黑暗环境下失效的局限性,使得研究在测试阶段只依靠深度图像工作的算法更具现实意义。另一方面,深度学习算法十分依赖人工标注的训练样本,为减少在陌生场
论文部分内容阅读
随着Kinect等深度传感器的普及和深度学习在计算机视觉领域的广泛应用,基于多模态图像的室内场景解析虽然已经取得了长足进步,但在实际应用中仍然存在不足。一方面,绝大多数算法在训练和测试阶段都依赖RGB-D图像,但彩色图像对用户隐私的侵犯性,以及光学成像导致黑暗环境下失效的局限性,使得研究在测试阶段只依靠深度图像工作的算法更具现实意义。另一方面,深度学习算法十分依赖人工标注的训练样本,为减少在陌生场景中重新标注对人力财力的耗费,需要研究能自动生成分割结果的非监督算法。针对上述问题,本文开展了基于多模态图像的室内场景解析算法研究。针对测试阶段只使用深度图像的深度学习算法,本文提出基于双编码器的深度图像室内场景解析算法,基于“编码器–解码器”的模型框架,利用双编码器分别从二维深度图像和三维点云两个角度提取特征,融合得到更具表达力的特征送入解码器进行预测,后处理高阶CRF模块保障了解析结果的类别标签一致性。为了在训练阶段有效利用彩色图像资源辅助特征提取,本文又提出基于彩色图像指导深度图像的模态知识蒸馏算法,基于双流网络模型,提出在“特许信息学习”的框架下,训练输入彩色图像的教师模型,并通过模态知识蒸馏损失函数提升输入深度图像的学生模型的特征提取能力,使最终的深度图像模型模仿彩色图像的特征提取模式,实现了不同模态的知识迁移。针对非监督室内场景自动解析的问题,本文提出基于RGB-D融合模态信息的协同分割算法,该算法利用深度图像对彩色图像的互补性,很大程度上解决了室内场景彩色图像造成的语义混淆问题。算法整体基于聚类思想对图像的超像素逐级融合,通过提出的边界平面先验,算法能够简单有效地区分图像的前景和背景部分;基于前景物体点云目标性度量的两阶段物体假设滤除机制,能够进一步更好地区分遮挡条件下不同的前景物体。
其他文献
目前,限制环境下的人脸识别方法的性能已接近饱和。同时,城市监控摄像机数量和质量的上升,使得人脸数据采集难度大幅下降,进一步拓展了人脸识别技术的市场应用,如安保,监控等
随着物联网在工业、农业、交通和医疗等社会和经济的各个领域的广泛应用,物联网设备的数量呈现了爆发式的增长。在这种情况下,传统的正交接入技术无法满足大规模设备的接入要
个性化推荐作为解决信息过载的一个有效手段已经成为工业界和学术界研究的热点,根据反馈信息的不同,可以划分为面向显式反馈和面向隐式反馈的推荐。其中,前者是个性化推荐的主流,而后者的普遍性使得此类推荐方法有更高的研究和应用价值。然而隐式反馈的若干缺陷给推荐带来了很大的挑战。论文首先分析了隐式反馈的特点,随后分类阐述了当前主流的面向隐式反馈的推荐方法的特点:包括单类协同过滤、基于学习排序的推荐以及其他结合
在我国新型城镇化进程加速推进和经济转型升级不断深化的背景之下,具有新时代标签意义的特色小镇应运而生。作为当下新型城镇化建设和供给侧结构改革的创新发展模式,持续稳定
本文在对最新的国内外相关自动化设备情况进行梳理汇总的基础上,对折弯机器人工作站的结构组成、工作原理以及相关控制方式进行说明,为机器人在钣金加工领域的实际应用提供一
量子弹球和量子图是量子混沌领域中的两个重要模型,它们常常被用于量子系统能谱特性的数值和实验研究。到目前为止,有很多工作对具有经典混沌动力学的量子系统进行了研究。在
改革开放以来特别是党的十八大后,中国的经济综合实力和科技实力显著增强,但中国社会发展现状没有改变,仍处于社会主义初级阶段,生产力水平还有待提高,技术与经济的融合还不
随着人工智能技术的崛起,利用深度学习开展计算机视觉领域的研究已经取得了令人瞩目的发展和进步。生成对抗网络的提出为文本生成图像任务的研究提供了新的思路。该任务要求
现代社会,信息化高速发展,档案在各行各业被利用的越来越多,价值功能的体现也日益丰富。在新闻领域,随着现代新媒体技术的进步,新闻产品的更新速度越来越快,产生的新闻档案也越来越多。新闻档案的增多以及新闻档案载体形式的多样性增加了新闻档案的管理难度,同时也为新闻档案服务社会进步提供了更多种可能性。本文基于当前社会新闻档案服务社会进步的社会功能表现,分析新闻档案服务社会进步的作用意义以及相关障碍因素,并从
注塑制品具有易于成型、化学性能稳定等特点,广泛应用于医学领域。但注塑制品受模具结构、不同材质、成型工艺多方面因素影响,易出现翘曲、划痕、麻点、应力痕等缺陷,因此在