【摘 要】
:
面对复杂场景时,人类会调用多种感官去感知并搜寻目标物体,进而完成各种操作。同样对于机器人而言,当处于非结构化的现实环境中时,仅仅依赖单一模态很难完成复杂的感知操作任务,例如仅视觉条件下无法分辨物体的软硬度及纹理。为了提升自身的感知能力,智能机器人需要在理解人类意图的基础上,利用多源传感器(深度相机、声音传感器、触觉传感器等)构建的多层次感知通路捕捉物体的异构模态信息,并结合高性能的信息处理中心和高
论文部分内容阅读
面对复杂场景时,人类会调用多种感官去感知并搜寻目标物体,进而完成各种操作。同样对于机器人而言,当处于非结构化的现实环境中时,仅仅依赖单一模态很难完成复杂的感知操作任务,例如仅视觉条件下无法分辨物体的软硬度及纹理。为了提升自身的感知能力,智能机器人需要在理解人类意图的基础上,利用多源传感器(深度相机、声音传感器、触觉传感器等)构建的多层次感知通路捕捉物体的异构模态信息,并结合高性能的信息处理中心和高灵活度的操作系统来执行操作,从而建立对物理世界的丰富理解。论文依托于国家重点研发计划“智能机器人”专项“人-机器人智能融合技术”,立足于提升机器人的感知操作能力,提出了一种结合语言、视觉、听觉和触觉的机器人多模态主动感知操作方法,机器人通过该方法能够解决单一模态感知能力不足的问题,实现感知互补,并在实际场景中快速、有效的完成对目标物体的探索感知与抓取分类。本文主要研究工作概括如下:第一,从机器人的感知操作任务出发,提出了一种基于仿人机械臂的多模态主动感知操作方法。区别于传统机器人,智能机器人需要利用多源传感系统收集异构模态信息,并结合主动感知技术完成探索,从而实现对感知任务的递增式学习。在此基础上,提出了三种多模态联合感知模型,用于适应不同的感知任务需求。随后,定义了各感知通路的算法模型,并针对触觉感知通路提出了双分支构型的触觉图像识别算法Dbs Mnet,用于提高触觉感知的泛化能力。第二,为提升人与机器人之间的交流协作能力,设计了基于自然语言指令理解的人机协同交互系统,并为人机交互创建了丰富的操作语言指令集,机器人需要在理解语言指令的基础上调用不同的多模态感知模型完成操作任务。此外,利用Wechaty聊天机器人框架在手机APP上部署了一个友好的人机交互界面(Human Robot Interface,HRI)来实现与机器人更便捷的交互。第三,利用仿人机械臂的多源传感系统构建了一个包含语言、视觉、听觉和触觉的多模态感知数据集,并在服务器端完成了数据集的分析处理,通过离线实验验证了数据集的有效性,为多模态主动感知技术的实现提供了基础。第四,结合感知任务需求和多模态感知数据集,构建了多模态主动感知的软硬件系统,并在此基础上完成了感知任务的在线实验验证。实验结果表明,本文提出的多模态主动感知操作方法能够适应实际的物理环境,并且能够确保感知抓取过程中的稳定性和有效性,为仿生及医疗辅助机器人的发展提供了基础。
其他文献
本文研究了毫米波大规模多输入多输出系统的预编码和信道估计相关技术,具体如下。针对全连接架构下需要使用大量移相器,本文提出了一种混合使用移相器和开关的可变移相器(Variable Phase Shifter,VPS)架构。针对VPS架构,提出了一种混合预编码(Hybrid Precoding Design,HPD)方案即VPS-HPD,该方案交替地优化模拟预编码和数字预编码,并根据信道状态信息来优化
食品安全是国家治理的重要议题和中国式现代化的基础支撑。中国特色社会主义进入新时代以来,食品安全融合保障民生、共同富裕、全民健康和国家安全多重意涵,已经成为治国理政的头等大事,是对执政能力的重大考验,尽显现阶段食品安全问题的复杂性和治理的紧迫性。相应地,寻求有效的食品安全监管理论和监管模式一直是中国行政体制改革和机制创新的内在动因之一,回顾1982年以来的九次国务院机构改革,其中有五次都涉及了食品安
第五代(5th-Generation,5G)移动通信定义了三大应用场景,分别是增强移动宽带(Enhance mobile broadband,e MBB)、高可靠低时延通信(Ultra-reliable and low latency communication,URLLC)和大规模机器类通信(Massive machine type communication,m MTC)。现有的正交多载波调制
2014年“11超日债”因无法按时兑付利息构成实质性违约,打破了我国债券刚性兑付的历史。自此,我国债券市场违约事件频发,债券违约也进入常态化阶段。在人工智能时代,机器学习方法已被成功应用于量化金融和风险管理方面。在债券违约日益凸显的背景下,如何利用机器学习模型全面、准确的评估和预测债券的违约风险,建立适合我国的债券违约预测模型,保护合作者合法权益,更是是科技赋能金融、用技术防范化解金融问题的核心环
图像是一种常见的信息存储形式,其不仅能直观地表示大量相关的信息,还具有易于存储和传输等优势。由于各种环境和信道因素的影响,图像在采集、压缩和传输过程中难免受到噪声的干扰,导致图像信息失真或丢失。同时,因为噪声的存在,可能对后续的图像处理任务,如图像分类产生不利影响。真实噪声的无噪声标签也不易获取。因此,如何依靠少量训练样本并从含噪图像中恢复出有意义的信息是当今图像处理领域内的一个重要问题。为了解决
架空线路是国家电力系统中负责电能输送的一个重要组成部分,长期经历着风吹日晒、电闪雷击、雨雪、污秽及沉陷等外界环境因素的侵害。而绝缘子作为架空线路最核心的元器件之一,关系到输电线路能否可靠运行,因此,对绝缘子自爆缺陷的检测尤为重要。本文针对现有绝缘子缺陷检测方法存在的作业周期长、效率低、安全性低等问题,结合新型人工智能技术设计基于卷积神经网络的绝缘子缺陷识别系统,实现了快速、准确的绝缘子缺陷检测功能
随着经济的全球化和我国经济的迅速发展,金融信贷业务也越来越繁荣,已经成为商业银行主要的盈利手段。然而,商业银行若误判了借贷者的信用情况,会导致一定程度的经济损失。因此,商业银行的信用风险管理水平是其业务竞争力水平的重要体现。信用评估是信用风险管理的核心。当前各种信用评估模型均对不同的借贷者存在一定程度的偏见(可能是人为的偏见,也可能是模型的偏见),导致商业银行在使用信用评估模型进行信贷决策时偏爱或
中国自改革开放以来,经济高速发展,综合实力不断提高。良好的经济基础为科学技术的井喷式发展提供了物质保障。世界AI技术的持续发展,5G技术开启了第四次工业革命的浪潮。伴随着网络技术的发展,人们关注的焦点已经不在于人与人之间的链接,人们迫切需要解决人与物,物与物之间的联系。5G技术的出现极大地满足了人们迫切的需求,其更加面向工业互联网及多场景提供专网相关服务的技术优点是其它技术所不能比拟的。因此如何更
VLC是利用波长范围在380nm到750nm之间的可见光波段进行数据调制的通信方式,由于无需频谱许可、可兼顾照明、保密性好和系统速率高等特点,成为6G室内覆盖的候选方案之一。为了提高传输速率,VLC通常采用修正的OFDM调制方案,为了进一步提高频谱效率,有人提出将OFDM和CDMA两种调制技术结合起来的MC-CDMA调制移植到VLC系统。本文针对基于ACO-MC-CDMA调制的VLC系统,研究了接
改革开放后,带有“中国制造”标签的产品开始出现在国际市场,“中国制造”形象不仅代表着中国制造业水平,也向世界讲述着中国发展建设成就的故事。《朝日新闻》作为日本主流报刊媒体,在日本拥有巨大的影响力,其新闻呈现及话语特征具有重要的研究意义,通过考察《朝日新闻》“中国制造”新闻样本,试图了解“中国制造”在日本媒体的形象呈现,并在此基础上分析“中国制造”媒介形象的形成原因,提出“中国制造”国际传播的思考。