基于示教学习与深度强化学习的轴孔柔顺装配策略研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:wuhu001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
轴孔装配是生产制造过程中的常见操作,具有自学能力的深度强化学习在解决小批量、多批次、非结构化轴孔装配任务时有巨大优势;但实际应用时,算法存在着迭代次数多、不合理探索占比大、收敛缓慢、零部件损坏多等问题。针对上述问题,本文基于示教学习,通过模仿人类的轴孔装配动作,提出了一种基于知识引导的深度强化学习轴孔柔顺装配策略,以减少机器人的不合理探索动作、提高深度强化学习算法的学习效率。在此基础上,本文通过融合力位混合控制,建立了一种面向轴孔装配任务且具有碰撞检测机制的深度强化学习训练环境;在该环境下机器人可以安全地与真实物理世界进行交互,避免了深度强化学习算法在训练初期所存在的零部件损坏问题。在基于示教学习的轴孔柔顺装配知识获取方法研究中,本文首先对示教学习的理论基础和轴孔装配流程进行了分析,根据人类装配的动作特点,确定了专家示教动作的编码方式,建立了基于高斯混合模型的轴孔柔顺装配知识库。随后,本文通过拖动示教获取人类的装配动作数据,并基于K-Means聚类和期望最大化算法求解轴孔柔顺装配知识库的参数,利用高斯混合回归对知识库进行回归处理。最后,本文设计了轴孔装配任务的控制系统,对知识库的有效性进行实验验证。实验结果表明,本文建立的轴孔柔顺装配知识库较好地模仿了人类专家的装配动作,能够用于指导后续深度强化学习算法的训练。在知识引导深度强化学习轴孔柔顺装配策略研究中,本文首先对深度强化学习的理论基础和轴孔装配专家知识进行了分析,在此基础上设计了知识引导深度强化学习模型的状态、动作空间和奖励函数,并根据模型特点选择了SAC深度强化学习算法求解轴孔柔顺装配策略。然后,本文对SAC算法的最大熵策略、柔性迭代原理和网络参数的更新方法进行了分析。最后设计了轴孔装配力位混合控制器,搭建了轴孔装配SAC深度强化学习网络,提出了基于知识引导的深度强化学习轴孔柔顺装配算法。最后,本文基于Panda机器人搭建了轴孔装配实验平台,对本文提出的知识引导深度强化学习轴孔柔顺装配算法进行了实验验证。实验结果表明本文提出的轴孔柔顺装配算法具有更高的学习效率,能够更快地收敛,有效减少了机器人在训练过程中的不合理探索动作和训练迭代次数;能够适应多种装配参数变化所产生的影响,具有较强的泛化能力。
其他文献
地震数据处理和解释对油田勘探开发效益有着极大影响。目前,油田相关部门通常使用Geo East、wgc等大型软件来执行油田地震处理解释任务,这些软件的运算数据量较大、运算过程复杂,因此任务执行过程中需要多台节点(服务器)协同工作。通过调研发现,为了最大化利用有限节点资源,目前油田相关部门普遍采用基于人工经验的方式制定静态资源分配方案。这种方案虽然可以确保任务按时完成,但是在耗费人力资源的同时,静态的
学位
以页岩气为代表的非常规油气资源已经成为如今能源产业发展的重要对象,页岩气的开发受到了广泛关注。我国页岩气预估储量有数十万亿立方米。随着常规油气资源可采储量的日益减少,勘探开发页岩气对调整我国能源结构的意义重大,是一种解决能源潜在危机的重要方式。页岩储层的孔隙结构对页岩气的赋存状态具有非常重要的影响。页岩气的主要成分为甲烷,了解甲烷在不同基质孔隙中的赋存状态对页岩气开发有重要意义。考虑到分子模拟在微
学位
由于近年来油气需求量不断增加,能够监测地下油气压裂裂缝的微地震监测技术也得到了广泛应用。因为在油气资源勘探过程中,采集到的微地震信号中通常伴随了大量噪声,而有效微地震信号存在持续时间短、能量较弱等特点,使得采集到的有效信号大部分淹没在随机噪声中,信噪比非常低,严重影响震源定位和后续的研究。因此我们需要在采集到的微地震信号中将噪声与有效信号分离,提取出有效信号,提高信号信噪比。本文以粒子滤波为基础,
学位
微结构光纤表面等离子体共振(Microstructural Optical Fiber based on Surface Plasmon Resonance,MOF-SPR)传感器打破了许多传统光纤的限制,在许多领域发挥着重要作用。SPR谐振效应对待测分析物折射率的微小变化具有很强的依赖特性,SPR与MOF的结合不仅开启了光学传感的新领域,而且MOF-SPR集成化的光学平台能够增强与待测分析物之间
学位
在室内场景作业机器人逐渐普及的背景下,如何稳定地让机器人感知环境确定自身位置是各类机器人成功作业的关键。本文选择使用RGBD相机与热红外相机生成RGBD-T信息流作为SLAM算法的输入,对如何利用室内结构化特征优化SLAM算法的定位精度与鲁棒性进行了研究。内容如下:研究机器人RGBD相机与热红外相机之间的外参标定与时间同步方法,并基于此提出行人滤除算法。本文首先依照算法验证需求搭建了实验用机器人,
学位
在地质调查中,野外露头区域的岩石图像可为研究地层中的油气运移提供关键信息。因此对于野外露头区岩石图像的裂缝和岩石种类研究在地质学研究领域是一项很重要的课题。传统的野外露头区岩石图像分割多采用人工描绘的方式,这是地质考察中最常用的一种方法,但是该种方法效率较低、费时费力,而且受观测人员的经验影响很大,较难提供定量的数据用于分析。图像处理技术的发展使得对露头区岩石图像分割的研究消除了人为主观因素的影响
学位
近年来,乳腺癌发病率逐年增长,对乳腺手术微创化和精细化要求不断提高,乳腺微创手术机器人逐渐成为医疗领域的研究热点。在乳腺微创手术过程中,操作者面临视野受限、手眼操作不协调、病灶随乳房穿刺变形而发生位移等问题。因此,针对不同患者搭建与其对应的乳房形变仿真模型并进行虚拟手术仿真尤为重要。大多数手术形变仿真模型主要针对内脏等弹性较弱且组织参数较为简单的器官,而乳房中生物组织较为复杂且乳房内脂肪组织与腺体
学位
伴随着光通信领域的快速发展,通信容量已经成为制约信息技术发展的关键,目前空分复用技术已成为解决光纤通信容量接近香农极限的最优方法。在空分复用方法中,轨道角动量(OAM)复用技术利用OAM光束之间的正交性可有效提升信道容量,而如何设计光纤结构以实现OAM低损耗传输成为该领域需要解决的问题。光子晶体光纤(Photonic crystal fiber:PCF)由于其结构设计上的灵活性,被认为是OAM模式
学位
目前传统工业机器人在一定程度上缺乏灵活性、柔顺程度且适应性较弱,在人与机器人的交互技术逐步趋于成熟的过程,未来人们会向便携式、智能化以及交互程度高的特性发展新一代的协作机器人,通过人机交互的方式,使得机器人在工作内容复杂多变、作业环境不尽相同的情况下,高效、稳定的完成任务,是需要解决的难点。本研究考虑利用表面肌电信号(sEMG)对机器人进行变刚度交互控制,使得操作者在遥操作过程中,可以实时感受到机
学位
随着科技的迅速发展,公众对信息资讯的需求量逐日增加;社会发展节奏的不断加快,也使得快速获取信息资讯成为公众普遍关注的焦点。互联网的出现让科普载体、受众等各个方面都发生了天翻地覆的变化,科普需求已经从"你能给什么"转变为"我想要什么"。"互联网+科普"是对传统科普传播方式根本性的变革,是一种全新的科普理念和科普精神,它颠覆了传统科普自上而下的单向信息传播形式,以多媒体的传播和社交互动为平台,开启了全
会议