【摘 要】
：
为了改善SAC（Soft Actor Critic）算法样本等概率采样以及网络随机初始化造成网络收敛速度慢、训练过程不稳定问题，提出一种结合优先级回放和专家数据的改进算法PE-SAC（Priority playback soft Actor Critic with expert）。该算法依据样本价值将样本池分类，使用专家数据预训练网络，缩小无人车无效探索空间、降低试错次数，有效提升算法学习效率。同
【基金项目】
：
国家重点研发计划（2021YFC3001300）； 国家自然科学基金（No.61871038）； 国家自然科学基金（No.61871039）； 北京联合大学人才强校优选-拔尖计划（No.BPHR2020BZ01）； 北京联合大学研究生科研创新资助项
论文部分内容阅读
为了改善SAC（Soft Actor Critic）算法样本等概率采样以及网络随机初始化造成网络收敛速度慢、训练过程不稳定问题，提出一种结合优先级回放和专家数据的改进算法PE-SAC（Priority playback soft Actor Critic with expert）。该算法依据样本价值将样本池分类，使用专家数据预训练网络，缩小无人车无效探索空间、降低试错次数，有效提升算法学习效率。同时设计一种面向多障碍物的奖励函数增强算法适用性。在CARLA平台进行仿真实验，结果表明所提出方法可以更好的控制无人车在环境中安全行驶，同等训练次数下所得奖励值和收敛速度优于TD3（Twin Delayed Deep Deterministic policy gradient algorithm）和SAC算法。最后，结合雷达点云地图与PID（Proportional Integral Derivative）控制方法缩小仿真环境与真实场景差异性，将训练所得模型移植到园区低速无人车中验证算法泛用性。
其他文献
致密砂岩油藏孔喉半径细小、连通性差，水力压裂过程中由于压裂液滤失、返排不彻底等因素极易造成储层伤害，有必要针对常用压裂液体系对储层基质和支撑裂缝导流能力的伤害进行评价。利用压裂液注入实验和导能能力测试仪测试了滑溜水压裂液、线性胶压裂液和交联胍胶压裂液的储层基质伤害、滤饼伤害和支撑裂缝导流能力伤害，结合核磁共振技术分析了压裂液滤失的孔径范围，揭示了3种压裂液对储层和支撑裂缝的伤害机理。3种压裂液对储
＜正＞从当前初中英语教学情况来看，很多教师并不关注对学生阅读策略的指导，导致学生以传统的阅读模式为主，阅读质量较差，对于文本中信息处理效率不高。针对目前英语阅读教学中存在的问题，本文首先分析英语新课程标准中的语言技能这一重要的概念，然后结合初中学生目前的英语阅读水平，分析英语阅读课堂上阅读策略的指导。
目的 利用人源化小鼠模型探讨抗PD-1单抗联合顺铂的新辅助治疗策略对人非小细胞肺癌（non-small-cell lung cancer, NSCLC）术后复发与转移的影响。方法 选择重度联合免疫缺陷小鼠NCG,通过序贯移植人外周血单个核细胞（peripheral blood mononuclear cell, PBMC）和人非小细胞肺癌细胞的方法，构建免疫系统-肿瘤双人源化NSCLC小鼠移植模型
以从糯麦淀粉中分离所得的A-、B-型淀粉为研究对象，并以此作为受体，高直链玉米淀粉为供体，利用普鲁兰酶和分支酶协同处理对糯麦淀粉进行改性，测定其颗粒形态、结晶结构以及表观直链淀粉含量、溶解度、膨胀力等理化性质，并对其消化特性进行考察。结果表明：采用普鲁兰酶和分支酶两种复合酶法改性的糯麦A-、B-型淀粉，其预测血糖指数显著降低，表观直链淀粉含量显著增加、溶解度随着温度的增加而变大，膨胀力随着温度的增
管理体系标准是一类具有典型结构和特定要素构成的标准，在各类组织的生产、经营、管理、贸易、采购等活动中扮演着重要的角色。近年来，国内外管理体系标准发展迅速，所涉及的主题和领域不断增多，这种蓬勃发展之势下确保管理体系标准的适用性以及管理体系标准之间的协调性和兼容性成为大势所趋。GB/T20001.11的制定将从标准编写规则的角度助力提高管理体系标准的适用性以及管理体系标准之间的协调性和兼容性。本文介绍
＜正＞从中国电影诞生之日起，体育电影便扮演着不可忽视的角色。社会主义新时代，在实行全民健身战略及举办冬奥会的环境下，群众对健康和体育娱乐的需求不断增长，一部部反映时代风貌和特征的影片应运而生，其中不乏以女性为主要表现对象的影片，如《夺冠》《李娜传》等，这些影片不断展示着新时代女性的拼搏精神，鲜活的女性形象影响着一代代中国人。文章以新时代（2012年以来）中国体育电影中以女性为主要表现对象的电影为研
＜正＞为进一步发挥党的领航作用,引导广大党员积极参与组织生活,河北省送变电有限公司输电施工三分公司利用"党建+"平台,通过"参与""引领""联动"为党支部的党内生活注入新的活力,助推党支部工作。背景与意义2018年,河北省送变电有限公司输电施工三分公司（以下简称"分公司"）首次承接输电运维检修业务,如何顺利做好新业
我国在抵御各种自然灾害的风险中逐步建立和完善了救灾捐赠政策，运用间断-均衡理论中政策图景与政策场域的互动，契合政策范式转化的关键因素——政策总目标，建构分析救灾捐赠政策变迁的理论框架，将新中国成立以来我国的救灾捐赠政策划分为三个间断期和四个均衡期。研究发现，从“维护政权稳定”到“贯彻总体国家安全观”的特定时期的政策总目标，推动了政策图景从“生产自救”到“放管结合”的变化，政策场域在此过程中逐步拓宽
中国作为柑橘种植面积、产量增长最快的国家,其中琯溪蜜柚种植产业也逐渐扩大。福建省平和县作为琯溪蜜柚种植主产区,据调查,当地氮、磷肥用量高达1255.37 kg/hm~2、917.99 kg/hm~2,导致该地果园径流及地下水污染情况日渐严重,果实品质、产量也逐渐下降。为了降低肥料投入,减少环境污染,可以采取多种途径平衡施肥,提高肥料利用效率,如中微量元素配施、有机无机肥配施等。硒是人体必需营养元素