【摘 要】
:
为了解决强化学习行动者-评论家框架下双延迟深度确定性策略梯度算法的低估计问题,提出了一种基于多估计器平均值的深度确定性策略梯度(DDP G-MME)算法.基于多估计器平均值的确定性策略梯度算法包含一个行动者和k(k>3)个评论家,该算法首先计算2个评论家输出值的最小值和剩余(k-2)个评论家输出值的平均值,再取两者的平均值作为最终值来计算TD误差,最后根据TD误差来更新评论家网络,行动者网络则根据第1个评论家输出的值进行更新.DDP G-MME算法的加权操作缓解了双延迟深度确定性策略梯度算法的低估计问题,
【机 构】
:
山西大学 计算机与信息技术学院,山西 太原 030006;山西大学 计算智能与中文信息处理教育部重点实验室,山西 太原 030006;山西大学 计算机与信息技术学院,山西 太原 030006
论文部分内容阅读
为了解决强化学习行动者-评论家框架下双延迟深度确定性策略梯度算法的低估计问题,提出了一种基于多估计器平均值的深度确定性策略梯度(DDP G-MME)算法.基于多估计器平均值的确定性策略梯度算法包含一个行动者和k(k>3)个评论家,该算法首先计算2个评论家输出值的最小值和剩余(k-2)个评论家输出值的平均值,再取两者的平均值作为最终值来计算TD误差,最后根据TD误差来更新评论家网络,行动者网络则根据第1个评论家输出的值进行更新.DDP G-MME算法的加权操作缓解了双延迟深度确定性策略梯度算法的低估计问题,并在一定程度上降低了估计方差,实现了更准确的Q值估计.在理论上对基于多估计器平均值的确定性策略梯度算法、深度确定性策略梯度算法和双延迟深度确定性策略梯度算法估值误差的期望和方差进行分析,证明了所提算法估值的准确性和稳定性.在Reacher-v2、HalfCheetah-v2、InvertedPendulum-v2和InvertedDoublePendulum-v24个MuJoCo连续控制环境下对算法的性能进行测试,结果表明:在与对比算法相同的超参数(网络结构、奖励函数、环境参数、批次大小、学习率、优化器和折扣系数)设置下,所提算法的最终性能和稳定性均显著优于对比算法.
其他文献
中国海油H炼油厂拥有2200.0×104t/a原油加工能力、260× 104m3原油储存能力,可以接卸载货量(5~28)×104t油轮的30×104t原油码头,月度加工原油品种达到10余种,所有原油通过油轮运输到港,并经过原油码头接转输至厂内罐区,不同原油品种在常减压装置实现混合加工.由于炼油厂具有连续生产,并要维持较高经济负荷运行的特点,保持一定量的原油库存是其长期、稳定运行、满足客户对产品出厂需求的基础,但随着原油库存升高,资金占用成本及原油价格风险也相应增加.通过对H炼油厂原油采购、接卸和收储的综合
大牛地气田开发进入中后期,随着地层压力、产量的下降,凝析油对气井的影响越来越大,泡排乳化物不断积聚,严重时甚至会导致井筒堵塞,影响气井正常生产.本文利用罗氏泡排仪对不同泡排浓度下高含凝析油液样乳化程度、性能参数进行测试,模拟高凝析油液样从地层原始状态到最终被带至地面的演化阶段,并结合实际液样,指导泡排制度调整.实验结果表明,在凝析油含量为20%的地层液中,当UT-11C泡排剂浓度达到5‰时,即可把凝析油全部乳化,相应的携液率达到最大.根据实验结果,结合现场液样特征,确定随泡排浓度逐渐增加,凝析油演化共可分
本文围绕杭锦旗地区存在的泥岩易井壁失稳、同一裸眼段塌漏同存、现场钻井液防塌及环保性能不足等技术难点,开展了防塌环保钻井液体系研究,制定了“强封堵、强抑制、力学平衡以及兼顾环保性能”的技术对策.室内研制出了防塌环保钻井液体系配方,评价显示24h泥页岩线性膨胀率仅为8.47%,泥页岩滚动回收率高达92.62%,PPA砂盘滤失量降低54.27%,中压滤失量仅3.0mL,高温高压滤失量仅8.2mL,生物毒性LC50高达82000mg/L,表明该防塌环保钻井液体系配方具有良好的封堵性、抑制性、环保性以及低滤失量等性
介绍了洋里污水处理厂污泥处置工程除臭系统升级改造工程,指出了根据臭气排放特点进行分区治理和采用针对性除臭组合工艺,可以在较低成本下取得良好的效果.
本文基于单因素实验和灰色关联度分析了弱碱三元驱油剂对破乳剂破乳效果的影响.研究结果表明,随着HPAM、石油磺酸盐、Na2CO3质量浓度的增加,SY-689破乳剂的破乳效果变差.当体系含有破乳剂时,与不含破乳剂的体系相比,三种驱油剂与油相含水量的灰色绝对关联度均有所降低,石油磺酸盐与水相含油量的灰色绝对关联度由0.9940下降到0.6305,但HPAM与水相含油量的灰色绝对关联度由0.5175升高到0.5695,Na2CO3与水相含油量的灰色绝对关联度由0.6486升高到0.9340.综合对比含破乳剂体系的
随着我国城市化建设进程日益加快,建筑行业逐渐成了国民经济发展过程中的中坚力量.目前,人们的生活水平越来越高,环保意识越来越强,为了增强环境保护效果,缓解资源消耗问题,我国对绿色环保理念的深入贯彻十分重视,建筑行业也应跟随时代的发展,将绿色施工管理理念合理融入建筑施工管理工作中,促进建筑行业可持续健康发展.基于此,从绿色施工管理理念及其特点出发,简单阐述了绿色施工理念融入建筑施工管理的必要性,针对目前建筑施工管理融合绿色施工理念存在的问题进行了简单分析,并提出了相应的优化路径.
生物质能源是发展可再生能源的重要研究方向,而生物燃气则是最接近产业化应用的生物质能源,是新能源发展领域中的重点方向.生物燃气中二氧化碳的捕集与脱除,是其应用过程中最关键、也是技术难度最大的环节.当前的脱碳技术按实现原理可大致分为物理方法和化学方法,其中化学方法主要包括液体吸收法、金属氧化物吸收法、二氧化碳还原法等.有机胺化学吸收是目前较为常用的方法,但受制于挥发性与腐蚀性等问题.钙基吸收剂也是较为成熟的二氧化碳吸收剂之一,但再生过程中的烧结一直是需要解决的问题.胺基吸收剂与钙基吸收剂是目前最为成熟,也是距
目前,石油化工装置内大型立式换热器大部分存在设备老旧、无法满足运行要求、影响产品质量和装置生产效能等问题,因此,根据生产装置的需要,需对此类换热器进行拆除更换,但由于原旧设备使用时间过长、现场施工环境复杂等原因,旧换热器的拆除施工变得异常艰难,而新换热器的安装精度要求严格.考虑设备更新施工的安全性、可操作性以及精度准确性,结合以往成功的施工案例从施工前准备、受力点安装、拆除施工、设备升降装置、设备滑移过程、设备吊装以及设备焊接等施工工序方面进行了施工过程的阐述以及提出了相关问题的解决措施和注意事项,通过制
基于评论文本的深度学习推荐方法主要利用评论文本刻画用户和项目的特征信息,学习用户对项目的评分关系,提升推荐的性能.现有研究工作在提高推荐系统精度质量的同时,忽略了情感特征在评分预测中的可解释性贡献.针对此问题,考虑了评论文本以及情感倾向分别在用户和项目嵌入中的作用,提出了一种基于评论文本情感注意力的推荐方法(IncorRAS-Rec).首先,通过卷积神经网络(CNN)处理用户和项目的评论集,对用户和项目的评论文本进行评论特征表示,并提取相关的用户特征信息和项目特征信息,进而结合用户对项目的评分偏好,学习用
针对基于SIFT特征匹配的图像篡改检测算法存在篡改区域定位不清晰,以及SIFT误匹配现象会对篡改区域分辨造成干扰的问题,提出一种基于数学形态学和特征匹配的图像篡改区域定位方法.首先在尺度空间上对图像进行极值检测,对图像特征关键点进行定位,确定图像梯度方向,形成特征点描述子;然后基于欧式距离对特征描述子进行两两匹配形成块匹配,以进行篡改区域粗略定位,并通过数学形态学方法去除冗余匹配块;随后提取疑似区域对的SIFT特征点,对SIFT特征矩阵进行主成分分析(PCA)降维后进行特征点匹配,使用相关性系数对匹配的特