基于多相机注意力机制的机器人视觉导航方法研究与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:wwwzjs19890622
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自主导航是机器人可以应用到许多任务中的一项重要能力,是赋予机器人感知和行动能力的关键。随着计算机视觉的不断发展,基于视觉感知来完成自主决策成为机器人领域研究的热点。近年来,由于深度学习在目标检测、图像分类、语义分割等许多视觉任务上取得较大的成功,基于深度学习的导航方法也得到了广泛研究。但这类方法的局限性在于训练网络时对专家演示数据的需求量较大,或设计基于规则的控制策略时对先验知识的储备量要求较高。相反,深度强化学习方法赋予了机器人强大的决策能力,其通过在仿真环境中利用奖励机制进行试错学习,弥补了上述方法的缺陷。然而,由于仿真平台无法准确地模拟真实环境,因此将仿真环境中学习到的视觉导航策略部署到真实环境中具有较大的挑战性。此外,目前许多与视觉导航有关的工作仅依赖单目视觉进行感知,这极大地限制了机器人的导航决策能力。虽然引入多相机能够赋予机器人更强大的感知能力,但这也会增加数据的处理难度,并在一定程度上带来视觉信息的冗余。基于以上分析,本文提出了一种由多相机感知、地图导航和多分支控制模块组成的机器人视觉导航方法。首先,针对深度强化学习难以将学到的策略从仿真环境迁移到现实世界的问题,提出了一种名为“边界线”的视觉表征并设计了端到端的边界线检测网络,然后通过设计两阶段学习损失函数进一步提升网络的检测性能。边界线检测网络通过将二维图像塑造成一维的边界线特征,使仿真和现实世界的感知形式趋于一致,其不仅保留了重要的视觉信息,如障碍物与马路的轮廓形状,而且降低了数据的维度,加快了强化学习策略的搜索过程。其次,针对多相机的数据处理以及信息冗余问题,本文提出了基于多相机感知的注意力模型,该模型能够关注重要的视觉特征信息,进一步提升机器人的感知能力。此外,本文还引入了高级指令生成网络,并开发了一套导航交互系统来部署机器人的自主导航策略。最后,在实验方面,本文将上述方法部署在真实机器人平台上,并在CARLA自动驾驶仿真平台以及真实校园环境中与四种基线方法进行了比较。实验结果表明,本文提出的方法具有更好的性能。
其他文献
以深度学习为代表的人工智能技术已经成为推动5G/6G网络智能化的核心驱动力。作为构建智能化网络中不可或缺的一环,无线业务流量预测技术对于提升网络性能、降低网络能耗、提升用户体验具有重要意义。精准的流量预测有助于实现对未来业务需求的动态感知,既为后续通信资源的预分配提供了先验信息,也为网络基础设施的部署与扩容提供了依据,同时还可避免不必要的运营维护成本,为实现绿色通信提供有力保障。分析表明,实际场景
学位
现代汉语中有一种常见的结构“NP的VP”,如:“她的到来”、“孩子的朗读”、“心脏的跳动”、“这几首诗的发表”这一类结构。其中NP指名词、代词或名词性短语;VP指动词、动词短语。学界对现代汉语“NP的VP”结构的研究成果较丰富,但是较少谈及“NP的VP”结构的翻译,文章以此为出发点,主要研究现代汉语“NP的VP”结构在维吾尔语中的表现形式。本文以现代汉语中关于“NP的VP”结构研究已有的分类为基础
学位
在《中国制造2025》这一行动纲领的领导下,电力行业已成为我国走向制造业强国的冲锋号、排头兵,电力系统的安全与稳定也因此关乎着我国发展的大局。电网作为电力系统中极其重要的组成部分,承担着输送与分配电能的重要作用。由于电网的线路往往要穿越祖国大地各处的山川河流,面临着复杂多变的运行环境,在运行过程中会不可避免的因各类因素导致事故。对电网进行故障诊断是处理复杂多变的各类事故的重要前提。随着电网故障诊断
学位
车联网是实现车与万物互联的泛在网络,为智能交通系统(ITS)中的诸多应用提供了重要支撑。随着信息技术的高速发展,新一代ITS中还将涌现大量感知、通信、计算、控制一体化的时间敏感类应用,这些应用高度依赖于情境信息的及时交互,因而对车联网中的信息时效性提出了新的要求。为此,以信息年龄为代表的时效性新度量应运而生,并正在成为车联网时严通信研究中的一项重要指标。在ITS的传统架构中,信息的交互往往通过地面
学位
骨质疏松是一种以骨量降低、骨组织微结构恶化,导致脆性骨折风险增加为特征的骨骼疾病,常发生于绝经后的女性和老年男性。基于双能X线吸收检测法(Dual Energy X-ray Absorptiometry,DXA)的骨密度测量是骨质疏松诊断的“金标准”。但由于公众认识不足,以及基层医疗卫生机构的防治能力有限,导致DXA检测率仍处于较低水平,这严重影响了骨质疏松患者的诊断和治疗。此外,现有的研究大多基
学位
近年来,深度神经网络在诸多计算机视觉任务中都取得了最先进的成果。然而,网络如此优异表现的背后,往往对应着复杂的结构、高达数百万甚至数十亿的模型参数。训练这些大型网络需要很高的算力和时间成本,并且过参数化模型所带来的巨额部署成本使其在移动设备端的应用受限,在实时性要求高的任务上也没有优势。知识蒸馏是一种有效的模型压缩和知识转移技术,它建立在教师-学生模型框架之上,通过让学生匹配教师模型的输出或有效特
学位
随着信息技术的不断发展,虚拟现实、远程医疗、智能交通等兼需高信息传输速率与高计算处理能力的新型业务不断涌现。能量与计算能力受限的移动终端难以实现任务的实时处理,极大影响了用户服务质量体验。这一新挑战要求无线网络不仅可以提供高信息传输速率,还应能够提供可观的算力支持,以辅助用户高时效、低能耗的实现任务处理。为此,多址边缘计算技术孕育而生,边缘计算通过在网络边缘侧分布式的部署小型计算服务器,为用户提供
学位
随着国家基础电力设施的日益完善,输电线路本体安全问题越来越受到重视,基于边缘计算的输电线路本体缺陷检测成为人工智能技术研究的热点。本论文重点对输电线路本体金具之间、金具与输电线路之间的连接部件上螺栓销钉缺失、绝缘子缺陷等问题的检测方法进行了研究,并开发了相应的系统,对提高电网巡检工作的高效化和可靠性有着重要意义。本论文主要研究内容如下:(1)面向输电线路本体缺陷检测算法设计。考虑到输电线路本体缺陷
学位
课堂管理贯穿课堂教学的始终,是影响课堂教学效果的关键因素。有效的课堂管理不仅可以维持良好的课堂秩序,确保教学活动的顺利进行,还能够促进师生的交流,实现课堂互动。笔者在为期四个月的泰国汉语教学实习中,对泰国职校汉语课堂管理的困难与重要性深有体会。因此,本文选择对汉语课堂管理进行探讨,希望能够为泰国职校汉语教学实践提供有益参考。本文运用对外汉语教学、课堂管理的相关理论,结合文献,以课堂观察、案例收集的
学位
党的十八大拉开了我国新时代的序幕,伟大梦想正在实现,伟大变革正在发生。各行各业立足新时代奋勇拼搏,取得令全世界瞩目的成就。从一穷二白到世界第二大经济体、第一大出口国,中国品牌走向世界、中国经济飞跃的背后是中国人民的拼搏奋斗,是无数企业家产业报国的不懈努力。中国经济腾飞的同时,民营企业家的社会地位有了明显的变化,从“民营企业消亡论”到“中国经济的半壁江山”,从“压榨剥削的资本家”到“有头有脸的自己人
学位