基于跨模态匹配的室内机器人场景感知

来源 :石家庄铁道大学 | 被引量 : 0次 | 上传用户:heritage102
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网快速发展,人们的生活水平逐渐提高,移动机器人逐渐进入人们的视野,多媒体数据也呈现爆炸性发展。室内机器人作为人们生活的重要一部分,优良的场景感知能力可以帮助其实现更好的导航、定位等功能。室内机器人场景感知是通过传感器采集数据然后处理而获取的。这些数据包括文本、图像、点云、声音等等。由于数据量巨大,单一的模态数据已经不能满足人们的日常需求,跨模态匹配邻域越来越得到重视。但是传统子空间学习方法在这种数据集跨模态匹配上效率低下,且消耗大量的存储空间。随着研究的发展,学者们提出的哈希算法可以在其他跨模态领域提高匹配效率,使所需的存储空间大大减小。室内机器人工作时主要依靠激光雷达和摄像头来获取周围目标物体位置,由于光照不足或者夜晚的情况下,摄像头所采集的图像会部分丢失,而激光雷达采集的点云数据却不受干扰。鉴于激光雷达和摄像头适应环境的差异性,本文提出了一种基于深度哈希的点云-图像跨模态匹配算法(PDCMH),可以从数据库中找出与测试点云对应的最相似图像,利用端到端的学习方式,将图像-点云特征提取网络和哈希码学习网络整合在一个框架中,得到公共的汉明空间,然后通过异或运算计算汉明距离,从而得到与测试点云最相似的图像。在公开的数据集KITTI上将基于深度哈希算法与子空间学习方法做对比。最后通过实验比较了CNN-F、VGG-19、Res Net-101三种不同图像深度网络对于深度哈希算法的影响。实验表明,本文提出的基于深度哈希的点云-图像跨模态匹配算法能实现点云-图像跨模态匹配任务,而且在精度上要优于子空间学习方法。通过研究深度网络对于深度哈希算法性能影响,CCN-F网络的匹配结果要优于VGG-19和Res Net-101。在此基础上未来可以通过减小量化误差、扩大数据集范围、采用更好的深度网络来进一步改进,使室内移动机器人具有更好场景感知能力。
其他文献
星载有源相控阵天线得益于可靠性高、功能强大等独特的优势,在空间通信、环境监测、导航等领域都有着非常重要的应用。星载相控阵天线工作环境特殊,太阳辐射以及包括T/R组件在内的天线内部大功率器件,都对天线温度有着极大的影响,由此引起的天线温度过高、温差过大,轻则影响天线辐射性能,重则导致天线无法正常工作。随着星载有源相控阵天线向着高频段、高精度、集成化方向发展,星载有源相控阵天线高效热控技术,已成为制约
随着光纤传感技术的发展,光纤传感器已被成功应用于石油化工、冶金和航空航天等重大工程领域中多种物理量的测量,在这些领域中,实现温度精准快速测量是近年来的一个热点研究问题。干涉型光纤传感器如马赫-曾德尔(M-Z)光纤传感器、Michelson光纤传感器和光纤F-P腔传感器,以其体积小、抗电磁干扰强、抵抗复杂环境能力强和干涉精度高等特点已成为热门研究对象。目前,制备光纤F-P腔传感器传感探头的材料多为石
随着第五代移动通信技术(5th Generation Wireless Systems,5G)的不断发展,超可靠低时延通信(Ultra Reliable Low Latency Communication,URLLC)受到了国内外学者的广泛关注。无人机通信作为URLLC的主要应用之一,其应用价值也在不断的被发掘。因此,本文结合现有频谱资源的稀缺性,在无人机通信中使用非正交多址接入技术(Non-or
农民专业合作社是建立在资源民主管理的基础上的。作为一种现代化的、新型的经营主体方式,在现代化农业发展中有着极其重要的地位,同时也对农民的收入增加增长有一定的作用。近年来,国家出台了一系列扶持合作社的政策,使得合作社数量快速增长。发展速度快但质量上却存在诸多问题,诸多合作社运营不规范,管理不到位,成员异质性明显、服务体制不够健全,还需要进一步加强和加强引导和支持,引导其规范化发展。治理结构作为影响合
随着社会经济的发展和人民生活水平的提高,旅游成为人民追求幸福和精神享受的重要体验性消费方式。近年来,旅游业增速放缓,旅游市场竞争加剧。2020年受新型冠状病毒肺炎的影响,旅游业更是遭受重创,如何提高旅游者的行为意向对复苏和繁荣旅游市场发挥着至关重要的作用。旅游者在决策过程中需要尽可能全面地收集信息,随着互联网的发展和移动智能设备的普及,网络口碑成为旅游者收集重要信息的便捷途径。积极的网络口碑比如社
如今,全球竞争日益激烈,世界经济趋于一体化,企业获取优势的重点从价格、成本方面转向创新中,市场的竞争不再是企业与企业间的竞争,而逐渐演变为供应链之间的竞争。企业创新
近年来,我国高等教育事业稳步发展,普及程度持续提高。在“双一流”建设背景下,各界对高等教育的投入不断增加,2018年全国普通高等学校的生均教育经费为22245.81元,比上年的21471.03元增长3.61个百分点。一方面,稳步增长的教育投入是学校有利的财务保障,而高校办学的主要收入来源是学费收入与财政拨款,高校生均培养成本作为我国政府核定学费标准和生均财政拨款水平的主要依据,能否科学合理地测算高
项目成本控制成为许多企业关注的重点,在市场经济竞争日益激烈的情况下,成本的管理与控制对于企业的发展以及生存都有着重要的作用,将直接影响着企业的经济效益。项目成本控制贯穿于整个项目的执行过程中,它涉及到项目的每一个阶段、每一个环节。只有将项目中每一个阶段的成本都降低,企业整体的成本才能得到降低,从而提高企业的整体经济效益。随着我国经济的快速发展,市场竞争越来越激烈,任何行业都难以避免会面临着成本提高
甲苯氧化反应一直以来都是C-H氧化中最经典的反应之一,而其氧化后可得到附加值高的含氧化工产品并且在许多行业都具有很好的应用前景。当前甲苯氧化主要通过均相催化进行,但
随着社会与时代的发展,信息技术革命正在我们身边悄然上演,这带来了软件行业的蓬勃发展。由于传统商业软件存在的些许不足,以共享、自由为理念的开放源代码运动催生出自由软