【摘 要】
:
针对传统PID控制算法在艾灸机器人温度控制中存在参数辨识复杂、适应性差等问题,将强化学习引入到艾灸机器人温控领域中,提出了一种改进强化学习算法。首先,通过多物理场仿真软件和神经网络联合搭建智能体离线训练仿真环境,以解决智能体在线训练效率低下的问题;然后,提出一种结合奖励引导和余弦退火策略的改进强化学习算法,提高算法的收敛性和成功率;最后,将仿真环境训练后的模型迁移到真实环境进行实验验证。实验结果表
【基金项目】
:
四川省重大科技专项(2019ZDZX0019); 四川省中医药管理局项目(2018KF013)资助;
论文部分内容阅读
针对传统PID控制算法在艾灸机器人温度控制中存在参数辨识复杂、适应性差等问题,将强化学习引入到艾灸机器人温控领域中,提出了一种改进强化学习算法。首先,通过多物理场仿真软件和神经网络联合搭建智能体离线训练仿真环境,以解决智能体在线训练效率低下的问题;然后,提出一种结合奖励引导和余弦退火策略的改进强化学习算法,提高算法的收敛性和成功率;最后,将仿真环境训练后的模型迁移到真实环境进行实验验证。实验结果表明,温度超调量为0.2℃,稳态温度保持在43.1℃±0.4℃内,改进后的强化学习算法相比于传统PID控制算法的温度控制能力更好。
其他文献
传统的艾灸治疗中医学消耗较大,医师负担较重,而当前可代替医生进行艾灸治疗的机器人或机械装置结构简单,自由度及智能化程度低,仅能实现简单的定点操作,难以模拟复杂、多角度变换的艾灸手法。针对以上问题,基于六自由度机械臂,提出了模拟艾灸治疗手法的艾灸机器人轨迹规划算法。该机器人通过采集人体不同方向上的穴位点,建立机械臂的运动控制坐标系,然后针对不同艾灸手法的轨迹,解算机械臂艾灸的轨迹关键点,从而真实再现
河口湿地围垦转化为水产养殖塘已成沿海地区一个重要的区域性问题,并深刻影响着河口地区的甲烷(CH4)生物地球化学循环。本文选取闽江河口鳝鱼滩短叶茳芏湿地及其围垦成的养殖塘作为研究对象,在2019年6月~2020年1月分别运用静态箱/悬浮箱-气相色谱法野外原位测定短叶茳芏湿地和养殖塘CH4排放通量时间变化特征,并原位同步测定短叶茳芏湿地和养殖塘水体和沉积物、间隙水等各项理化因子;通过厌氧培养法测定沉积
财务报表是对一家公司发展情况的分析,也是对公司未来发展的一种预测。企业的发展要有远见,也必须有远见。然而,传统的会计报表分析方法往往因为自身的缺陷而无法做出准确的判断。所以,本文以四川长虹为例,从战略角度出发,对企业战略进行分析,发现企业战略和财务报表的组合可以带来更高的效益。
攀岩运动能够锻炼人的毅力、强化团队协作意识、增强团结协作精神、培养责任感,全国许多中小学拟将攀岩课程引入到体育课程中。由于我国攀岩运动起步比较晚,发展速度相对缓慢,目前没有一套完整的中小学攀岩场地标准设计方案和中小学攀岩课程体系。针对此问题,文章设计了一整套具体的中小攀岩场地标准设计方案和一套完整的攀岩课程标准,该课程体系包含攀岩运动的基础知识、文化礼仪和技能技巧,能够充分激发学生的积极性、参与性
随着经济的发展,居民健康和财产风险防范意识也逐渐深入,极大促进了我国保险业务的发展。理赔服务能力是保险公司核心竞争力的重要组成部分,理赔人员的综合素质是影响理赔服务优劣的关键因素。Y保险公司随着业务规模的不断扩大,理赔人员数量逐年增加,但其绩效管理体系并未随着公司的发展壮大进行优化改进。公司对理赔员工的管理相对薄弱,一定程度上阻碍了理赔人员的发展和人才培养,而科学的绩效管理对企业充分发挥人才资源优
90年代后,随着越来越多的外资保险公司加入中国的保险行业竞争中来,使得中国的保险市场竞争越发的残酷和激烈,如何加强自身的管理能力来提高核心竞争力是所有中国保险企业面临的难题。基于此,论文选取了GH保险辽宁分公司作为研究对象,并选择从最重要的管理工具绩效管理进行研究,希望通过对该公司员工绩效管理的改进使得该公司的绩效管理能够更好地助力于公司的业绩增长和经营目标的实现。GH保险辽宁分公司是一家寿险公司
随着教育体系不断发展,加强大中小学国家安全教育实施意见有效落实,在此基础上结合学校教育系统,做好对大中小国家安全教育相关工作,帮助广大学生树立总体的国家安全观,强化其国家安全意识,具有重要的教育意义。大中小学校如何做好国家安全教育工作,是一个重要的教育课题,各大中小学院校应认真落实国家安全教育各项任务要求,引导学生定期学习国家安全教育工作。
<正>征订活动全面启动…尊敬的广大读者:2023年度《机械设计与制造》杂志征订工作已经开始,为了更好地开展这项工作,现将具体征订事宜说明如下:本刊为大16开月刊,全年12期,定价为35元/期,420元/年。面对企事业单位、各大院校和个人每个月均可接受订阅。订阅通道:·电话咨询订阅。订阅专线024-8689912018512480200·网站下载订阅表。www.jsyz.cbpt.cnki.net发
<正>一、概述随着装备制造业的发展,仅适用于单件、小批量、精加工生产的传统坐标镗的市场逐渐缩小,取而代之的是包括精密卧式加工中心在内的精密(坐标)加工中心。该类加工中心适用于军工、航空航天、核电、船舶、汽车、能源、机床、刀具模具及机器制造业精密零件加工,如箱体类、盘套类、板件及模具类等复杂零件的中、
卧式加工中心配置的自动换刀系统通常为链式刀库与换刀机械手组成,偶有盘式刀库与换刀机械手组成,但链式刀库与盘式刀库所配置的刀长及最大刀具直径都有限制,对于某些深孔无法装载对应的刀具。因此,我们设计了一种应用于卧式加工中心的辅助换刀系统。此换刀系统可装载超长刀具,可独立自动换刀,应用于深孔特征的加工,解决传统刀库无法实现的问题,具有广泛的适用性。