【摘 要】
:
在深度强化学习等人工智能领域蓬勃发展的今天,机器人应用的智能化升级仍然进展缓慢,在机器人作业生产线上,机器人一些基本的抓取、固定、搬运等任务仍然需要编程人员的干预,机器人的自动化水平目前不能满足生产实际需求,机器人智能化水平的低下正在阻碍着机械制造等行业的发展。因此,通过研究基于深度强化学习的机器人智能化抓取控制技术是适应社会生产力的需要,具有重大意义。本文提出了机器人的智能化抓取动作控制的相关模
【基金项目】
:
专项:面向电子行业制造的专用机器人及系统集成技术研究(2017YFB1303702);
论文部分内容阅读
在深度强化学习等人工智能领域蓬勃发展的今天,机器人应用的智能化升级仍然进展缓慢,在机器人作业生产线上,机器人一些基本的抓取、固定、搬运等任务仍然需要编程人员的干预,机器人的自动化水平目前不能满足生产实际需求,机器人智能化水平的低下正在阻碍着机械制造等行业的发展。因此,通过研究基于深度强化学习的机器人智能化抓取控制技术是适应社会生产力的需要,具有重大意义。本文提出了机器人的智能化抓取动作控制的相关模型,并对其训练收敛过程中的相关算法进行改进。在机器人抓取控制系统设计研究的基础上,针对传统机器人缺乏对抓取控制动作闭环控制的问题,提出了基于深度强化学习的控制决策网络模型和价值评判网络模型,利用强化学习强大的决策能力,通过对抓取过程中实时图像的分析,控制机器人在当前状态下作出相应动作,以完成抓取动作。并通过建立机器人系统仿真环境,降低了模型的训练难度。通过对控制决策网络训练时,智能体与环境交互以及参数更新的形式,分析重要性采样在采样不充分时,方差不同所造成的系统偏差,得出了控制决策网络参数更新的同时要注意到两概率分布不能差异过大的结论,提出网络参数协调更新的方法,给出了限制概率分布差异过大更新网络参数的目标函数,并在实验中验证了该方法对模型训练结果的有效性。针对网络训练数据是由智能体在机器人系统仿真环境交互获得因而具有相关性,不能保证数据的独立性等问题,在训练智能机器人的过程中,采用了在仿真系统中异步训练的方法,给出了具体算法实施流程。减弱数据的相关性,降低对参数收敛的影响,并在实验中验证了其效果。为增强智能机器人抓取控制的泛化性,提高其对环境的理解能力,在机器人系统仿真环境添加随机性,并给出具体的添加随机性算法流程。针对反馈稀疏问题,提出了阶层式奖励的方法。基于以上研究工作,搭建机器人智能化抓取控制测试系统,完成机器人智能化抓取控制的测试实验,验证了算法的有效性。
其他文献
机器人抓取是智能化机器人系统的集中表现,而目标识别作为机器人抓取的核心步骤,一直是机器人领域的研究热点。随着计算机算力与传感器成像质量的不断提高,在结构化环境中基于简单二维图像的目标识别与抓取得到了广泛深入的研究,相关技术已逐步趋于成熟。然而随着社会对机器人智能化需求的不断提升,仅使用二维信息来表征复杂环境中三维物体,不可避免的会出现信息损失,使得机器人难以实现在非结构化环境中对于多目标物体的高精
结构光照明显微镜(structured illumination microscopy SIM)表面形貌测量主要利用结构光与被测表面形成调制之后,基于层析和峰值提取算法,解调出被测表面的三维信息。本文针对SIM表面测量三维重建算法和软件展开研究,主要研究内容和成果如下:研究提出了融合聚焦评价算子的SIM轴向响应曲线获取算法。该算法利用聚焦评价算子对于倾斜较大表面的适用性,融合层析算法和聚焦评价算子
作为直流电机的关键部件,换向器的表面质量将直接影响电机性能,因此,在出厂前对其外观质量进行视觉检测正成为一种趋势。由于换向器内部电木材料硬而脆的特性,使得在加工过程中易在换向器底部电木区域产生裂纹和破损等缺陷。同时,由于电木材料对光的反射特性,使得这些缺陷往往在图像上特征不明显,给换向器表面质量检测带来极大的困难。因此,本文结合换向器自动生产线对检测的实际需要,对换向器底部电木裂纹与破损缺陷视觉检
随着数字化车间、无人工厂技术的发展,柔性制造系统已成为现代化车间发展的重要方向。自动导引运输机器人(AGV)由于可降低生产成本,提高生产效率和提高柔性,在劳动力密集的柔性自动化生产线改造中获得了极大青睐。结合“移动平台+机械臂”的复合型AGV能够实现柔性作业的物料存储、搬运以及上下料任务。然而考虑到AGV自动换料、自动充电以及多AGV同区域协同等自律协同需求,传统调度方法仍然面临着任务分配算法难以
磁振子是铁磁材料中磁有序集体激发的自旋波的量子化,其特性可以通过磁性材料的选择、样品的形状以及施加的偏置磁场的方向和大小而改变。近年来,旋磁铁氧体材料钇铁石榴石(YIG)备受研究者青睐,其集体激发的磁振子具有丰富的线性、非线性特征,是研究物理特征的极好对象。此外,由于磁振子与微波光子、声子等自由度有很好的协调性与兼容性,因此在实现不同信息载体之间的信息相互转换方面有巨大的潜力。构造结构简单且性能多
目前常用的银基电触头材料是银-氧化物电触头材料,但由于氧化物导电率低,与银基体结合差,导致电触头材料工作时温升较高、电阻较大、电寿命下降。石墨烯具有高的导电性、导热性,并且石墨烯与银之间存在界面结合,有利于制备出高性能的银-石墨烯电触头材料。目前,国内外对银-石墨烯电触头材料公开报道较少。本文致力于银-石墨烯电触头材料制备,并研究其电性能。本论文以Alfa Aesar公司出售的石墨烯纳米片聚集体(
化石燃料大规模燃用造成的温室效应受到越来越广泛的关注。煤/生物质化学链气化(CLG)是一种清洁、高效的合成气生产技术,能有效减缓大气中CO2的上升。CLG利用载氧体将晶格氧转移到燃料中,然而现有技术无法将载氧体与灰分有效分离,载氧体与灰分相互作用会导致载氧体失活和烧结。本文系统的研究了煤/生物质灰中矿物对铜基载氧体的影响,对CLG的实际应用具有一定的指导意义。首先,通过灰中常见的氧化物、矿物以及配
自从石墨烯的发现以来,二维(two-dimensional,2D)范德瓦尔斯(van der Waals,vd W)层状材料一直是各个研究领域的热点。2D vd W层状材料中蕴含着丰富的物理性质,并具有优异的应用前景,所以需要不断地去探索及合成新型的2D vd W层状材料,进而推动相关物性和器件研究。在本论文中我们选择理论预测地新型2D vd W层状材料Al Sb以及被验证为2D拓扑绝缘体的Bi(
阴离子广泛存在于自然环境中,对生态环境的平衡及调控具有不可或缺的作用。荧光探针技术具有操作便捷,高灵敏度,应用范围广泛等优势,因此被广大科研工作者青睐。但是,由于阴离子在水溶液中的氢键作用,水溶性阴离子荧光探针的研究还是一项挑战性的工作。本文设计合成了三种基于吡啶鎓的水溶性荧光探针。利用探针分子的疏水性及阴离子与探针间的静电力作用,诱导探针发生聚集现象,进而触发π-共轭芳香环间发生π-π堆积产生荧
航空发动机和燃气轮机中的叶片是参与能量转换的关键零件,其具有复杂的曲面特征,并且厚度不均匀导致刚性不一致,导致加工质量难以保证。叶片经过铸造、锻造、机加工后都需要进行磨抛加工来提升表面光洁度和几何精度。目前机器人砂带磨抛在叶片的加工中表现出了很好的优越性,而结合机器人的多自由度灵活性进行磨抛需要磨抛中接触力有更好的稳定性。因此,本文在对磨抛过程稳定性研究的基础上,提出一种实现被动柔顺的测控方案,并