基于深度强化学习和模仿学习的艾灸应用研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:HDGKD30
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着生活水平的改善,自身的健康和养生备受大众的关注,艾灸已经成为养生保健的主力军。作为现代人的首选,当它被大规模的应用时,传统的艾灸方式很容易产生专家资源短缺,耗费时间的问题;如果使用现代艾灸器,会出现无法针对穴位进行施灸,不能自适应调节艾条与穴位皮肤之间的距离的问题。针对这些问题,本文考虑使用机械臂代替专家,开展基于模仿学习和强化学习技术的艾灸决策任务研究,主要包括以下三个方面:首先,基于对艾灸决策任务的问题分析与研究,本文提出将艾灸决策问题建模为马尔科夫决策模型。通过这个模型,可以充分展示艾灸决策过程。在建模过程中,本文定义了艾灸决策任务的状态、动作和奖励函数,这些是艾灸决策任务中的关键概念。然后,开展了艾灸决策任务的目标研究,提出了艾灸决策模型的求解方法。本文通过构建示教数据样本,搭建策略学习网络(SLN),学习出示教策略,将示教策略作为专家艾灸的先验知识。为了学习最优的艾灸策略,本文将穴位皮肤吸收的能量与专家的先验知识相结合,构建出一个基于模仿学习的奖励函数。通过本文构建的奖励函数,引导智能体进行强化学习。最后,针对上述提出的方法,搭建了实验平台,进行了实验验证和误差分析。本文基于模仿学习和新颖的深度强化学习算法在真实采集的数据集上进行了实验和分析,合理设立了评价指标,即策略的有效率。另外,选择了不同的算法进行了对比实验。结果发现,本文提出的算法得到的结果是最优的,策略有效性比率达到78.5%。为了加速强化习,提高智能体训练的性能,本文在模拟环境中提出了XGBoost和LSTM的融合模型,通过对比实验,证明本文提出的融合模型预测的结果是最优的,由评价指标公式计算可得均方误差(MSE),平均绝对误差(MAE),平均绝对百分比误差(MAPE)分别为0.014,0.092,以及25.3%。
其他文献
随着负荷的不断增长与新能源的大规模接入,电网运行的安全域不断减小。为实现资源的优化配置,需充分挖掘电网的运行弹性空间,扩大电网运行安全域。汛限水位的动态控制赋予了水电库容弹性空间,库容弹性的利用将有利于提升水库调蓄能力,扩展水电调度优化可行域。为探究库容弹性对电网运行效益的影响,本文在电网调度中计及库容弹性,实现水力、电力协调优化调度。同时,机组启停整数变量及调度决策约束的时段耦合特性,导致计及库
铝是世界上应用最为广泛的金属之一,Hall-Héroult法是工业大规模电解制铝的重要途径。为了降低电解过程的能耗和提升工艺效率,通常加入NaF-AlF3熔融盐到电解质中以降低Al2O3的熔点和增强体系的电导率。NaF-AlF3熔融盐的微观结构、组成及其对电解过程的影响是该工艺中重点关注的基础性问题,而NaF-AlF3熔融盐的研究受强腐蚀性、强挥发性和高温环境等试验条件的限制,通常需采用高温拉曼光
为提高化石能源的转化效率,降低能源转化过程中的污染物排放,燃烧过程的有效调控成为了国内外学者研究的重中之重。燃料重整技术能根据不同工况的特点来调整燃料的品质,被视为是实现清洁燃烧、提高燃料效率的最有效的手段之一。然而,当前常用的重整技术普遍存在着重整产物单一、过于依赖贵金属催化剂等问题,大大制约了燃料重整技术的推广应用。在该背景下,本文提出并设计了一种基于冷焰燃烧动力学的新型无催化燃料低温重整方法
长江上游控制河段航道通行条件差,船舶必须根据通行信号单向、有序通行,而通行信号依据航道内的AIS(Automatic identification System,船舶自动识别系统)数据解码获得船舶信息,根据控制河段的通行规则产生。虽然AIS数据中包含了船舶速度、位置等信息,但没有提供在指挥过程中至关重要的船舶上下水和船舶所在控制河段具体位置的信息,同时由于控制河段沿岸环境复杂,导致AIS信号接收范
铸造业是国民经济的重要产业。可是,铸造业在创造巨大经济财富的同时,也消耗了大量资源,并对环境造成了严重影响。因此,实施绿色制造工程,进行工艺绿色化改造已成为铸造业可持续发展的关键战略。但从目前的总体情况来看,仍缺乏能有效识别工艺过程节能减排关键环节和关键影响因素的有效手段,同时,企业普遍存在生产系统中信息流断层的现象,这已成为制约工艺绿色化改造和绿色制造工程深入实施的瓶颈,阻碍了铸造业的可持续发展
近年来,随着渠段控制算法在调水工程中的成功应用,多渠段系统运行调度水平大大提高,国内水资源分配不均问题得到了极大的解决。在调水工程中,渠系自动化是至关重要的一部分,要求渠系内输水装置能够实现自动化控制,控制的精度和效果的及时性都直接影响到调水工程的输水效果。当前的渠系结构多为串联结构,由于系统结构的特殊性,致使多渠段系统是一个滞后性大、高度非线性、耦合性强的控制系统,且难以得到精准的数学模型,这使
随着社交平台等应用的飞速发展,海量的用户社交文本数据相继产生,为情感分析提供有利支撑,但有关情感分析的大部分研究仅聚焦于文本信息,忽略了表情符号的存在意义。在特定的场景下,表情符号往往比文本更容易凸显情感色彩。深度神经网络在情感分析等任务中发挥出色,但仍然存在一些挑战和问题。当文本被添加扰动或恶意破坏时,深度神经网络会因鲁棒性差而导致分类结果误判。本文针对上述问题开展研究,主要工作如下:(1)构建
天然酯绝缘油是一种可再生环保液体电介质,具备抗老化、高燃点等优点,已广泛应用于配电变压器。天然酯绝缘油的氧化安定性不足、雷电击穿性能低等问题限制了其在大型电力变压器中的推广与应用。纳米改性绝缘油易产生粒子团聚、形成杂质小桥等问题,限制了纳米改性绝缘油的实际应用。因此,本文基于聚倍半硅氧烷与环氧大豆油接枝改性技术,研制出分散稳定性好、兼具高氧化安定性和优良雷电击穿性能的纳米改性天然酯绝缘油,对环保型
随着以直流电源为基础的可再生能源(如光伏电池、燃料电池等)的快速发展、新型电力负载(如电动汽车、笔记本电脑、移动电话、LED照明等)的普及以及电力电子变换器的大规模应用,直流微电网得到了快速的发展。相比于交流微电网系统,这些直流源和负载接入直流微网可减少功率变换环节,从而简化系统结构,提升系统效率。在直流微网中,DC-DC变换器驱动的负载在输出严格控制时通常表现恒功率特性,其输入阻抗往往表现负阻抗
近年来随着Twitter、MSN、微博、论坛及微信等各类社交媒体的快速发展,人们越来越依赖社交网络平台,并且习惯通过这些平台表达看法与情感。文本情感分析能够有效地帮助政府决策部门、研究机构和信息咨询组织掌握社会情绪变化趋势。文本情感分析是指利用自然语言处理技术对带有情感色彩、主观性的文本进行分析、处理和信息抽取过程。情感原因提取作为文本情感分析中的一项重要任务,目的是通过文本中给定的情感信息,抽取