【摘 要】
:
强化学习已在各行业得到广泛应用,强化学习所需的大量探索在很多语境下均可能带来严重后果。为此,业界提出安全强化学习。从经济学中借鉴的效用函数是其中的一种常用技巧,但其在搜索算法中还未得到充分研究。当智能体在风险中立的语境下进行训练后,如何利用搜索算法将其迁移至风险敏感语境中仍是一个需要解决的问题。因此,提出向期望最大搜索算法中加入安全强化学习常用的效用函数技巧进行改进。以2048游戏为例,基于202
【基金项目】
:
国家自然科学基金项目(62276142,61806096,61872190);
论文部分内容阅读
强化学习已在各行业得到广泛应用,强化学习所需的大量探索在很多语境下均可能带来严重后果。为此,业界提出安全强化学习。从经济学中借鉴的效用函数是其中的一种常用技巧,但其在搜索算法中还未得到充分研究。当智能体在风险中立的语境下进行训练后,如何利用搜索算法将其迁移至风险敏感语境中仍是一个需要解决的问题。因此,提出向期望最大搜索算法中加入安全强化学习常用的效用函数技巧进行改进。以2048游戏为例,基于2022年最新的NTuple方法及在风险中立语境下所训练的权重,实验了不同的超参数。实验结果表明,将sigmoid函数作为效用函数应用于搜索算法中,可以显著提升算法性能。其中,在2层搜索中,改进后的算法相较于原始算法提升了14 053.35分,在3层搜索中,提升了6 522.9分。
其他文献
<正>家国情怀既是语言中文化意识的体现,也是英语学科德育的重要主题。但是实际的教学中,相较于英语学科的人文性作用,教师往往更重视其工具性价值,对英语学科育人价值的认识有所偏颇,文本价值解读的意识和能力也有所缺乏,尤其家国情怀的培育中缺少相应的策略。小学阶段的英语学习应将学科知识与学科育人深度融合,采取有效的措施加强对学生的引导,使其树立家国情怀,促进个人、家庭、国家的有机结合,激发学生的责任意识。
当前,耕地细碎化已成为影响土地适度规模经营和现代农业发展的主要障碍,耕地细碎化问题亟待破解。从全国范围来看,部分地区因地制宜地探索出一些具有代表性的耕地细碎化治理模式。蚌埠市怀远县农民自发地开展互换并地实现“一户一块田”承包经营,探索出一条解决耕地细碎化问题的有效途径,为发展农业适度规模经营、促进现代农业发展奠定了坚实的基础。文章对安徽省蚌埠市怀远县耕地细碎化自主治理实践中所探索的“一户一块田”改
当下,我们越来越多地区使用低碳节能的经营管理模式,它有助于企业更加长远有效的发展。其中,污水处理厂合理地使用污泥资源,不仅有助于能源的节约,还可以降低成本。本文先对污水处理情况进行分析,接着研究了关于污泥资源化处理内容,从多个方面分析污泥资源化的具体举措,希望更好地实现污水处理厂使用污水资源,建设生态环保型社会而努力奋斗。
粮食安全是社会经济稳定运转的坚实基础,是维护国家长久治安的重要保障,现目前,在面临新冠疫情与国际冲突及极端天气频发等背景下,切实稳定粮食生产与保障国家粮食安全有着十分重要的意义。耕地是土地的核心利用形式,是国家粮食安全的根本保证,是与人类生存发展关系最为密切的土地资源,在我国西南喀斯特地区,由于特殊的地形地貌使耕地集中连片程度低,农业机械化受阻,耕地利用效率低下,后备资源贫乏,耕地成为了最宝贵的资
西方近代普遍历史叙事面临着多元文明共生的难题。它将共时性的多元文明纳入历时性的纵向过程,以一种同质化、一致性与统一性的纵向时间瓦解多文明共生得以立身的时间构架——多元、异质、层级混杂的,类似于地质构造的横向时间,因而无法处理"不同时代的同时代性"的层级时间结构。"轴心时代"假设意在突破基督教文明对人类多元文明的统摄性,以向经验敞开的方式走向不同时代文明的同时代性,但它仍然以具有先验品格的共同人性的
对标新课标,基于系统科学理念,立足科学大概念,设计制作光的实验套盒,完成小学科学影子的秘密、阳光下的影子、光是怎样传播的、光的传播会遇到阻碍吗、认识棱镜、光的反射等实验以及初中物理光的直线传播、光的反射、光的折射、光的色散等光的系列探究实验。小学、初中都涉及光的直线传播、光的折射和反射实验,在降低实验误差、拓展学生思维、提高探究实效的基础上,进一步探究依托教具创新开展小学科学与初中物理衔接教学的策
随着现代城市的发展,城市污泥产生量快速增加,其成分复杂、产生量巨大,寻求更多、更安全的资源化利用方法具有重要意义。本文首先阐述城市污泥的产生与危害,其后分别从政策与技术的角度分析城市污泥资源化利用现状,最后展望城市污泥资源化利用的发展趋势,以期为污泥资源化利用提供一定参考。
随着电动汽车的快速发展,对锂离子电池的负极材料有了越来越高的要求。目前商用锂离子电池的负极材料还是以石墨为主,但是石墨负极的理论比容量较低(为372 m Ah/g),严重限制了锂离子电池的能量密度。硅的理论比容量高达4 200 m Ah/g,被认为是最有前途的锂离子电池负极材料之一。然而,硅负极材料在锂化的过程中会伴随着巨大的体积膨胀效应,导致电极材料破裂和粉碎,从而大幅度降低电池的循环稳定性,并
石墨烯经过多年发展,制备方法主要分为机械剥离法、氧化还原法、化学气相沉积法和电化学法,应用在电池电极的方法也分为直接作为电极和与其他材料复合作为电极两种。通过介绍石墨烯不同的制备方法,并辅以实例,详细阐述了石墨烯各种制备方法的优势,并介绍了其在电池电极方向的应用。