基于深度强化学习的机器人抓取及智能装配研究

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:ttingting
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能的飞速发展推动了各行各业的产业变革,改变了人们的生活方式和工作形式。为了满足产业变革的发展需求,加快人工智能的应用落地已成为产业发展规划的重中之重。由于劳动力成本的提升,机器人被广泛应用于工业、服务业、医疗行业及航天航空等行业,以代替人类完成诸多工作。传统机器人工作在结构化的环境中,其控制系统不仅需要建立精确的控制模型,而且还需要进行繁琐的程序编译工作和大量的参数部署工作。然而,在实际工作中控制精度和传感器的误差波动是不可避免的,这将导致建立的模型失效。此外,对于一些非结构化环境中的抓取与装配问题,建立精确的模型可能是一项无法完成的任务。因此,借助人工智能技术改进机器人控制策略是一项具有重大研究价值和应用意义的研究,使机器人不再依赖模型建立和参数部署工作,并通过训练的方式来学习工作技能,进而实现机器人在非结构化环境中自主完成复杂的工作任务。为了解决非结构环境中抓取与装配工作的过程描述困难,本文针对非结构环境中轴孔装配任务的工作需求,分析了工作过程中机器人与环境的交互特性,构建了基于深度强化学习的机器人智能抓取与装配系统,进行了机器人抓取与装配技能学习以及感知融合等方面的研究。本文的主要研究内容包括以下几个方面:(1)智能抓取与装配机器人系统。针对非结构环境中轴孔装配任务的位置不确定性、对准调整的姿态多样性和接触状态的不确定性等任务特点,分析了轴孔装配任务中柔顺动作的工作原理和阻抗控制系统的控制原理并进行了轴孔装配的各阶段子任务划分,研究了视觉感知和触觉感知的工作特性以及将其应用在轴孔装配各阶段子任务的难点,并深入分析了轴孔装配任务中装配孔与装配轴的各种接触状态以及相应的机器人控制策略,还考虑了抓取与装配过程中装配零件与环境之间的约束问题以及工作过程中的安全作业约束,构建了机器人的智能抓取与装配的仿真和物理实验平台,为后续研究的策略训练与验证提供了实验平台。(2)基于深度强化学习的智能抓取。在机器人选择抓取位置时,传统的抓取策略仅考虑机器人是否能够成功抓取目标物体,而没有考虑在抓取成功之后抓取位置对轴孔装配对准调整的影响。针对在非结构环境中的轴孔装配任务,本文提出了一种基于深度强化学习的智能抓取策略,构建了全卷积神经网络模型。在保证机器人能够成功抓取目标零件的基础上,设计了奖励函数为抓取决策引入了装配约束,使机器人在决定抓取位置时能够考虑抓取位置对装配工作效率的影响。在搭建的仿真平台和物理实验平台上进行了策略训练与测试,测试结果表明在引入装配约束后机器人的抓取位置选择被压缩到一个较小范围的限制区域内,机器人选择该区域内的抓取位置能够获得更高的装配效率。(3)单视角视觉与触觉联合感知的装配研究。由于对准姿态和接触状态的多样性以及干扰力矩波动的不确定性,增加了机器人感知环境信息的难度,导致了机器人难以精确建立任务模型。此外,由于视觉感知和触觉感知的各自局限性,机器人只能根据其工作特性在某个装配阶段单独使用一种感知方式,这进一步增加了装配过程描述的困难。为了解决这一难题,本文提出了一种基于深度强化学习的联合感知装配策略,该策略为装配对准阶段的视觉感知与触觉感知建立了映射关系,解决了装配过程的描述困难,提高了机器人轴孔装配的工作效率。(4)多视角视觉与触觉联合感知的装配研究。在轴孔装配任务过程中,视觉感知可能会因为视觉遮挡的原因导致视觉特征信息的缺失,进而影响决策系统的对准调整判断。针对视觉特征信息缺失问题,本文提出了一种基于深度强化学习的多视角联合感知装配策略,该策略根据轴孔装配的对准调整需求,为视觉感知系统增加了辅助视角以弥补视觉特征信息的缺失,从而提高了机器人的装配效率,并在仿真系统和物理实验平台上进行了策略训练与测试验证。实验结果表明,多视角联合感知装配策略能够弥补视觉特征信息的缺失,并进一步提升了轴孔装配的工作效率及其稳定性。
其他文献
奥斯卡·王尔德(Oscar Wilde,1854-1900)其人、其行、其作,是世界文学史上一个常言常新的话题,这固然与他的戏剧性人生经历和风格独特的文学创作有关,但更多地是与他的各种反世俗、反主流的艺术理论和伦理哲学相联系的。他所提出的艺术与伦理主张不仅给英国乃至整个欧洲的文学艺术和道德伦理造成强烈的冲击,而且牵涉到当时社会现实的诸多领域,如民族主义、宗教信仰、日常审美、性爱观念以及思维范式等,
学位
哺乳动物是恒温动物,它们需要恒定的体温来确保最佳的生活状态。这就给哺乳动物颤抖性产热和非颤抖性产热在内的产热系统带来了巨大的选择压力。在中国,由于南北方的纬度相差大,造成年平均气温相差较大,导致许多物种生活在不同的温度环境中,包括家养牛在内。在夏季,中国南方地区的温度明显高于北方地区,这使中国南方牛被暴露在极热的环境中,相反,北方牛的生活环境比较凉爽。在冬季,中国北方地区的温度比南方地区的温度低的
学位
【背景】结直肠癌(colorectal cancer,CRC)是目前发病率第三位的恶性肿瘤,也是恶性肿瘤中第二位的死亡原因。近年来,尽管结直肠癌的早期筛查逐渐完善,结直肠癌的患病率和死亡率仍在逐年升高。目前,结直肠癌的治疗主要采用手术结合放化疗的方式,早期的结直肠癌治愈率及预后都较好,但是对于晚期转移的结直肠癌,常规治疗就会大大折扣,预后也明显较差。随着人们对结直肠癌转移机制的探索,靶向治疗逐渐成
学位
贫困一直是经济社会发展的问题之一,自新中国成立以来,我国在扶贫、减贫等方面投入了大量的精力。2011年随着《中国农村扶贫开发纲要(2011-2020年)》的出台,我国将“精准扶贫”作为新时期贫困治理工作的重点。随着脱贫攻坚工作的不断推进,其成果也不断显现:到2019年,我国农村居民可支配收入达到12363.4元,是1978年的93倍,贫困人口也降到了4335万人,贫困的发生率也下降到4.5%。并在
学位
互联网时代,既存在现实社会的各种思潮不断谋求在网络空间上出场及传播,从而衍生出新的变种、转化为新的形式,也涉及网络空间孕育出全新类型的社会思潮,这些都可以纳入社会思潮生成范畴进行讨论,使得表征着从非存在到存在或由某种质到另一种质升级变化的社会思潮生成具有研究的必要性和可行性。从现实状况上看,互联网与社会思潮的发生发展有着密切联系,尤其是对于社会思潮生成而言,不仅网络信息成为重要养分、网络媒介成为重
学位
背景与目的:心力衰竭(heart failure,HF)已成为主要的全球健康问题,具有较高的发病率和死亡率。低收缩压(low systolic blood pressure,LSBP)是限制HF患者使用或上调滴定抑制心肌重构药物的一个重要因素。沙库巴曲缬沙坦是一种血管紧张素受体脑啡肽酶抑制剂,研究表明血压较低的射血分数降低型心力衰竭(HF with reduced ejection fractio
学位
背景:结直肠癌(Colorectal cancer,CRC)是最常见的消化道肿瘤之一,威胁患者生存质量且引起了严重的社会和医疗负担。现阶段的治疗手段很难从根本上抑制CRC的病理进展。因此,进一步深入探索CRC发生发展的分子机制对CRC的早期诊断和干预具有重要的科学意义和临床价值。RHBDF1与许多肿瘤的发生发展密切有关,但其在CRC中的潜在作用及相关机制尚未完全明确。目的:本项目拟首先检测菱形家族
学位
随着信息技术的快速发展,大数据正深刻地改变着人们的思维和生活方式,并且促进了社会的进步和经济的发展。然而,大数据也伴随着复杂度高、数据过量和信息冗余等问题。因此,如何对数据进行有效地分析并从中学习具有鲁棒性和判别性的数据表示是一个极具挑战性的问题。为了解决这一问题,基于稀疏表示的特征学习算法应运而生。稀疏表示理论是模式识别领域非常重要的研究话题,因其出色的数据表示和特征提取能力,近年来受到了众多研
学位
脊髓损伤是致残率极高的中枢神经损伤性疾病,常引起患者不可逆的神经功能损伤,对社会造成巨大的经济负担。尽管神经科学经过了几十年的发展,临床上对脊髓损伤的治疗仍然缺乏有效手段。减轻继发性损伤对保护残存神经组织,及促进患者神经功能的恢复具有重大意义。然而传统给药途径,难以保障损伤组织中有效浓度,原因主要包括:血-脊髓屏障(BSCB)的存在;药物分子较短的血循环时间;药物分子极低的组织选择性。纳米医学的发
学位
研究背景结直肠癌(Colorectal cancer,CRC)是常见的恶性肿瘤,发病率在全球恶性肿瘤中位居第3位,死亡率位居第2位。阿司匹林是目前最具前景的CRC化学预防药物之一。虽然阿司匹林在预防CRC方面的作用得到了肯定,但具体的分子机制尚未达成共识。生物信息学分析具有高效、经济、灵活等优势。药物数据库及多种公共基因表达谱数据库为我们预测与疾病相关的关键基因、作用通路,寻找潜在的生物标志物及药
学位