基于演示视频的机器人学习操作规划系统

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:lusx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今机器人主要在受控制的工业环境中进行着重复的运动。如果将机器人部署在新的环境,或者执行其他的任务,则需要专业人员重新编程。因此,研究人员提出了可以通过演示直接向计算机或机器人教授新的技能,而不是通过机器命令对计算机或机器人进行编程的想法,并称之为示范学习。本文提出了一种从演示视频中学习机器人操纵规划的算法,其目的是让机器人可以通过观看演示视频学习新的操纵规划,而非由专业人员重新编程。这可以极大的降低机器人重新部署或者更换任务的成本和时间,在日常生活中更好地服务人类。并且输入算法的演示视频是无约束限制的,这意味着机器人可以在互联网中寻找已经存在的演示视频,自动学习新的技能。更具体地说,本文使用三元组操纵规划表达式对演示视频进行高度概括。通过使用双流卷积神经网络和Mask R-CNN对演示视频中演示者的动作和被演示者操纵的物体进行分析,从而得到三元组操纵规划表达式。然后通过深度摄像机扫描机器人运行时的真实环境,之后由机器人将从演示视频学习到的三元组操纵规划表达式在真实环境下执行。本文在名为MPII的一个包含273段无约束的演示视频公开数据集上进行实验,结果表明,本文提出的算法能够从演示视频中准确的获得三元组操纵规划表达式,总体准确率达到了73.36%。此外,本文将所提出的算法与人形机器人Baxter整合在一起,Baxter机器人通过演示视频学习操纵规划,并在真实环境中执行了所学内容,有效地验证了本文所提出的算法的性能。
其他文献
随着互联网技术的快速发展,人们可以通过多种互联网渠道获取信息。在线问答社区系统为用户提供了便利的平台,这使得社区问答网站拥有庞大的用户生成内容(User Generated Cont
镁合金因密度小、比强度和比刚度高等优势而在汽车和航空航天等领域具有广阔的应用前景。特别是AZ91合金是应用最广泛的压铸镁合金,其拥有良好的铸造性能,但其也面临两大关键问题,一是熔炼过程中极易氧化燃烧,产生夹杂;二是合金力学性能不高。因此,提高AZ91合金的力学性能,已成为一个亟待解决的问题。一方面,添加Ca和Ce能够显著提高AZ91合金的起燃温度,避免熔炼过程中的氧化燃烧,同时Ce作为稀土元素能够
弥漫性毒性甲状腺肿伴甲状腺功能亢进症(Graves’Disease,GD),简称甲亢,是一种常见的器官特异性自身免疫性甲状腺疾病(Autoimmune Thyroid Disease,AITD),在人群中的患病率约
菲律宾蛤仔(Ruditapes philippinarum)属软体动物门、双壳纲、帘形目、帘蛤科、蛤仔属,在我国南北沿海均有分布,我国传统“四大养殖贝类”之一,其生长速度快,养殖周期短,适应性强(广温、广盐、广分布),市场前景广阔。本研究通过组织切片方法对雌二醇刺激条件下的空白组、实验组进行切片显微观察并统计各组的雌雄比,通过荧光定量PCR技术对蛤仔不同发育时期、短期雌二醇处理下蛤仔及长期雌二醇刺
随着矿业城市和高速铁路的快速发展,采空区上方地表荷载产生的附加应力使覆岩“再活化”,发生垮落、压实直至产生地表变形,建筑物因此发生变形甚至坍塌,分析荷载作用前后地表
太阳能是一种能够在一定范围内替代常规能源的清洁能源。太阳能热泵技术有效集成了太阳能热利用技术和热泵技术,用于供暖和制取生活热水,是实现建筑节能和可再生能源利用以及
本文将一维磁性光子晶体与PT(Parity-Time)对称结构相结合,实现了结构独特的非互易性传输,并发现该结构具有特殊的传感机制,从而提出新型的光子晶体传感器模型,该模型不同于
信息提取是图像处理中非常重要的分支,对遥感卫星视频数据的运动目标信息提取是图像处理领域研究热点之一。本文主要针对道路上的汽车目标运动信息进行超分重建技术应用研究
温度是测量领域中的一个重要参数,随着科技的发展及5G时代的到来,利用现代计算机技术及网络化技术来获取物体表面的温度,在实际应用中具有很重要的意义。本文研制了基于网络
移动边缘计算技术将数据中心的处理能力下沉到距离用户更近的移动接入网的边缘,减少业务的传输时延,提高用户体验。作为大数据时代的重要业务类型之一,流式计算业务在移动边