【摘 要】
：
机械臂因其灵活度高、耗能低等特点,广泛应用于铸造行业、汽车行业等工业领域。传统方法在控制性能上存在一定的局限性,以及人们对其应用场景广泛性、未知性、动态性等要求,催化了机械臂智能化控制研究。深度强化学习的发展使智能体在无需人为提供环境数据下仍可进行自学习,但现有算法存在不同程度的策略更新不稳定及仅适用于离散动作空间等局限性,应用到机械臂控制,使其在高维复杂环境中表现不稳定。因此,针对上述缺陷,本文
论文部分内容阅读
机械臂因其灵活度高、耗能低等特点,广泛应用于铸造行业、汽车行业等工业领域。传统方法在控制性能上存在一定的局限性,以及人们对其应用场景广泛性、未知性、动态性等要求,催化了机械臂智能化控制研究。深度强化学习的发展使智能体在无需人为提供环境数据下仍可进行自学习,但现有算法存在不同程度的策略更新不稳定及仅适用于离散动作空间等局限性,应用到机械臂控制,使其在高维复杂环境中表现不稳定。因此,针对上述缺陷,本文实现近端策略优化算法（PPO）应用到未知环境机械臂轨迹控制。首先,由于奖惩函数设计的合理性对于模型收敛效果,及轨迹控制的鲁棒性等都有重要影响,本文依据人工势场法思想,集成位置奖励函数、方向奖励函数,设置面向DRL机械臂控制加权奖励函数空间,以提升机械臂学习效率及稳定性。其次,提出结合LSTM的PPO深度强化学习算法,应用于机械臂轨迹控制,以环境图像作为输入,最大限度保证算法可实用性,通过自动编码器对环境输入进行降维处理,并在环境感知状态空间引入LSTM,使其具备有效预测和避免无效学习的能力。采用PPO算法进行机械臂控制,基于ROS平台,通过将结合LSTM的PPO算法与Actor-Critic、PPO算法相对比,奖励回报均值分别提升6.12%、4%,学习效率、稳定性等其他算法性能均有提升,证明了该算法能更好的在复杂环境中拥有较高的灵活性鲁棒性,更高效地完成避障抓取任务。通过搭建基于Gym的二维机械臂可视化平台和基于ROS的三维可视化仿真平台完成机械臂控制任务。二维环境中先D-H建模搭建静态机械臂模型,再根据静态模型编写静态、动态模拟环境脚本渲染机械臂环境。三维环境中首先以URDF格式搭建机械臂静态模型,添加link等节点数据,通过Move It!接口结合机械臂运动控制规划编程,动画渲染到Gazebo、Rviz可视化环境。完成对机械臂避障抓取控制,更直观验证本文所提出算法的各方面性能。
其他文献
为了进一步保护生态环境实现可持续发展战略,我国制定了“碳达峰”和“碳中和”的发展目标,体现在碳材料的传统利用基础上推动产业结构调整、淘汰落后产能等。其中以煤为代表的化石燃料的燃烧过程中产生温室气体和有毒有害气体问题尤为突出。因此,在煤作为传统能源燃料的基础上,设计新思路将其转化为高附加值的煤基衍生碳材料是有效解决上述问题的有效方法之一。这与我国既定的新发展理念、高质量发展、生态文明建设有着极高的契
近些年,随着我国经济的高速发展和国民生活水平的提高,人们对健康的需求也越来越高。医药产品虽是特殊的商品,但在面向消费者时,仍然需要企业具备合适、专业的营销策略,才能起到企业与消费者良性互动的作用。因此,探究制药企业医药产品营销策略的制定与实施具有一定的现实意义。本文选择JH企业集团作为案例,首先,本文对目前国内的医药市场近年来的发展现状作以说明,对JH企业集团的宏观环境、微观环境的综合考量,选择波
热年代学热史反演的一个重要假设是:“热”是238U自发裂变产生的裂变径迹退火、蚀刻径迹长度缩短的唯一能量来源。因此,通过测量蚀刻径迹长度,可以反推地壳岩石热历史。然而,也有很多证据表明U和Th的α-衰变可能会造成裂变径迹受到α-辐照而退火并缩短,从而深刻影响仅仅基于热退火来反推热历史的实践应用的可靠性。由于锆石普遍含有较高的U和Th,比磷灰石更有可能出现α衰变造成的辐照退火效应。尤其在低温条件下,
自2018年《关于规范金融机构资产管理业务的指导意见》落地以来,刚性兑付被打破,传统固定收益型理财产品将逐步消失,取而代之的是以基金为代表的净值型产品为主,我国居民的投资工具和投资期限与以往相比都将发生明显变化。而与此同时,近年来我国居民个人可支配资产增速明显,商业银行个人财富业务急剧扩容,呈爆发式增长。证券投资基金将成为标准化资产投资转型的重要投资品种,基金代销业务也将成为商业银行个人财富业务的
现代社会生活的压力不断增大,人们每天都在忙于生计,却忽视了自身的身体健康。加之一些不健康的生活作息和饮食习惯更容易患上肥胖、颈椎病、心血管等基础疾病。去一次医院做检查需要花费较多的时间成本,人们为了节省时间怕麻烦往往都会拖延病症,这样反而会错过最佳诊疗阶段。因此,设计一款符合用户需求的人体成分分析仪很有必要。人体成分分析仪能够通过生物电阻抗分析技术快速检测出人体成分含量,帮助用户及时了解自身健康状
近年来,我国光伏产业蓬勃发展,产业整体都在向着更高的水平发展,技术不断创新,规模不断扩张,但也逐渐涌现出了一些问题,由于政策的利好和对于光伏产业的扶持,导致一些光伏企业盲目扩张,一味地追求规模的扩展导致负债激增,另一方面,大批企业涌入市场,导致市场竞争加剧,财务风险也相应骤增。准确识别并有效防范财务风险是企业能够健康长远发展的前提。本文首先对国内外学者对于财务风险预警模型和财务风险相关的文献进行了
环境行政公益诉讼是指检察院在履职过程中,发现在资源保护和生态环境领域内承担监管责任的行政机关,在检察院发出检察建议后,仍不依法履行职责,致使公共利益受损,而由检察院提起旨在督促行政机关依法履行职责的诉讼。其与普通行政诉讼和其他领域的行政公益诉讼均存在一定的差异,但本质上仍属于一种责任追究制度。环境行政公益诉讼的功能在于激励行政机关及政府官员积极依法履行职责,以维护环境公共利益。制度的设计以实现制度
随着信息化的迅速发展,在互联网和大数据时代下,各种公共产品和服务深刻影响了剧院的发展,在一定程度上改变了人们参与剧院服务体验的方式。民众对剧院的参与感和体验感的诉求更加强烈。设计界也越来越重视剧院参与式服务体验设计的研究,更多的设计者投入到服务设计的实践中来,探索出了相关的参与式服务设计策略与方法。尽管参与式服务设计理论发展较为成熟,但是在现实中受传统剧院影响以及各种流行文化的冲击,还有剧院公共文
在移动互联网和人工智能深刻发展的大背景下,手机成了现代生活中最重要的工具之一,也成为竞争最激烈的行业之一。因此对手机行业进行竞争情报研究,可以全息地了解这个行业的发展状况和竞争状况,对于提升手机产品的用户体验和促进手机行业的良性发展具有重要的指导意义。文章旨在分析和构建手机行业竞争情报的分析模式。首先,分析了手机行业发展的发展状况和竞争态势,定义了手机行业竞争情报的具体内涵,并构建了手机行业竞争情
当前,随着人们对健康事业关注程度的增加,全民健康的理念日益深入人心,社会保险和医疗服务保障也越来越受到大家的重视。而在乡村振兴过程中,农村地区居民的基本医疗保险作为社会保障体系发展中必不可少的关键一环,迫切需要通过制度上的规范,来保障我国城乡居民（尤其是农村居民）的基本医疗生活水平,因此,城乡居民基本医疗保险制度应运而生。作为一项具有社会福利性质的基础医疗领域的社会保险,城乡居民基本医疗保险制度不