EvisionNet:一种用于获取相机内参、相机运动和景深的无监督学习方法

来源 :吉林大学 | 被引量 : 0次 | 上传用户:fugle0908
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
景深信息、相机运动信息和相机的内参对于工业控制、自动驾驶和机器人等领域应用至关重要。随着人工智能技术的发展和大型公开数据集的建立,使用有监督或无监督的深度神经网络获取景深信息的技术已经非常成熟。然而,这些方法虽然具有很高的性能,但是包括无监督方法在内的大多数方法都需要输入相机内参,而内参的获取需要进行相机标定。本文提出了EvisionNet,这是一种无监督深度学习模型,以单目相机拍摄的连续帧为输入,输出每一帧的深度图、拍摄过程中相机的运动和相机的内参。内参预测的功能使得EvisionNet能够从未知来源的任意视频中提取精确的相机运动和景深信息而无需进行相机标定。本文提出的EvisionNet主要由两个编码器-解码器结构的子网络组成:用于景深预测的DepthNet和用于输出置信度掩码的MotionNet。置信度掩码用于在损失函数的计算中抑制由场景运动、遮挡和其他因素引起的不可信像素的影响。用于相机运动和内参预测的子网络与MotionNet共享编码器。本文提出了基于重投影损失的联合损失函数对所有模型同步进行无监督训练,并给出了确保训练有效的必要条件。在开放数据集上的实验证明了本文方法的有效性。EvisionNet的景深预测性能与有监督方法的表现接近,相机运动预测的性能优于参与对比的其他深度模型和使用了全局信息并进行闭环检测的方法。实验还证明了EvisionNet从单目图像序列中可以学习到相机内参。
其他文献
稻田人工湿地氮、磷流失是农业面源污染的重要来源,对农田水环境产生了诸多负面影响,因此系统地研究并揭示其氮磷流失的规律和机制显得尤为重要。本研究在长沙市长沙县的稻田
近年来随着汽车智能化的发展,汽车上某些传统的液压部件逐渐由电子机械式部件代替,汽车制动方式也逐渐向线控方式转变。汽车线控制动包含电子液压制动系统(Electronic Hydrau
集成电路随着电子、航天、航空等领域的发展而迅速发展,这其中往往伴随着散热困难的问题,另外轮胎材料对聚合物导热性提出的要求也越来越高。然而聚合物本身的导热系数很低,
近年来,由于具有节能减排、能源利用率高等优势,分布式能源系统(Distributed Energy System,DES)受到了国内外的广泛关注。与此同时,也面临着系统结构复杂、运行策略不合理、
光学三维测量技术因其非接触、高精度、大面积等优点,在制造业、工业机器人、仓储物流、自动驾驶汽车等领域被广泛应用。这种巨大的应用需求,也促使世界各地越来越多的研究团
2016年交通运输部发布的《十三五公路养护管理发展纲要》明确了绿色、低碳、循环的公路发展远景,而公路的长期使用性能与路面结构设计有着密切的关系,其中沥青路面疲劳性能始
鄂尔多斯盆地西峰油田M区长23油藏目前处于开发中后期,面临的主要问题有:研究区东部和北部发育边底水,油水关系复杂,导致东部新投产井含水上升较快;储层非均质性较强,注水井
物联网作为信息时代的新技术,具有十分广阔的应用前景。其中射频识别(RFID)作为物联网的核心技术,将发挥重大作用。由于普通RFID标签内部含有芯片,成本较高,限制了其大规模的应用,无芯片RFID标签解决了成本问题,具有很大的市场潜力,已成为RFID技术的研究热点之一。本文基于频率选择表面(FSS)原理,使用Ansoft HFSS 15.0软件仿真与实物测试相结合的方法,对编码容量大、环境适应性强、
为了提高寒葱的食用价值及为寒葱后续的开发利用提供理论依据,本实验研究了寒葱提取物对雄性大鼠生殖系统损伤补助保护作用。试验先采用回流提取法获得了寒葱水提物和醇提物,
钢箱梁构件重量轻,强度高,运输安装便捷,是大跨桥梁主梁结构的首选之一,在国内外应用广泛。然而,目前已建钢箱梁桥随服役时间增长已出现不同程度的裂缝,因此高效、精确地检测