【摘 要】
：
近年来,汽车数量日渐增多给道路交通安全带来了严峻挑战,而自动驾驶技术有助于缓解交通拥堵、改善现有交通环境、减少交通安全事故的发生,因此自动驾驶和智能驾驶已成为一个热门研究和应用领域。深度强化学习综合了深度学习与强化学习的优点,近年来被尝试用来解决自动驾驶领域的不同研究问题,但面对复杂多变的交通驾驶环境,深度强化学习仍存在环境探索效率低、前期训练速度慢、泛化能力差等缺点。针对深度强化学习算法的这些缺
论文部分内容阅读
近年来,汽车数量日渐增多给道路交通安全带来了严峻挑战,而自动驾驶技术有助于缓解交通拥堵、改善现有交通环境、减少交通安全事故的发生,因此自动驾驶和智能驾驶已成为一个热门研究和应用领域。深度强化学习综合了深度学习与强化学习的优点,近年来被尝试用来解决自动驾驶领域的不同研究问题,但面对复杂多变的交通驾驶环境,深度强化学习仍存在环境探索效率低、前期训练速度慢、泛化能力差等缺点。针对深度强化学习算法的这些缺点,本文首先通过领域泛化方法对深度强化学习的高维图像输入进行泛化特征提取,并构造领域泛化状态空间,随后对深度强化学习的动作空间进行分层,先通过行为决策,再进行轨迹规划,降低空间的搜索难度,同时以模仿学习预训练方法提高前期训练速度,最终构建一个具有领域泛化能力的基于近端策略优化的自动驾驶决策规划控制模型,并在多种基准上测试模型的稳定性与泛化能力。本文的主要研究内容包含:（1）本文提出一种领域不变特征提取方法。目前传统的端到端自动驾驶算法往往要求训练数据与测试数据具有相同的分布,但在实际应用场景中很难满足,这就导致传统的自动驾驶算法在面对未曾见过的新环境时往往不能得到预期结果,本文提出一种基于领域不变特征提取方法,将交通场景中与驾驶无关的天气、光照等因素去除,并保留行人、车辆、道路等与驾驶密切相关的领域不变特征,使得本文提出的自动驾驶算法在面对全新的交通环境时仍然保持良好的性能。（2）本文提出了一种分层近端策略优化的自动驾驶控制理论模型,其在虚拟驾驶环境中不断学习和自我强化,以实现自动驾驶决策规划任务。首先,通过对近端策略优化算法的动作空间进行分层,并通过行为决策和轨迹规划的方法降低动作空间的搜索难度。然后,将基于模仿学习预训练的端到端深度学习网络权重用于近端策略优化的演员网络,解决强化学习的“冷启动”问题,从而加快模型收敛速度。（3）本文选择开源自动驾驶模拟器CARLA作为仿真平台,并在CORL2017和No-crash 两个基准上将本文算法与其他算法进行比较,证明了本文算法的优越性。本文也基于CARLA仿真平台自行搭建了与真实城市对应的虚拟城市,并在不进行任何微调的情况下将在其他场景下训练好的本文算法模型直接应用于虚拟城市,实验证明本文提出的算法仍然具有优秀的泛化能力。
其他文献
项目课程是指教师在课程中将一个相对独立的项目、任务交由学生自己处理，指导学生结合有意义、有价值的问题，自主完成学习活动的实施及最终评价。本文以新课程教育理念为基础，从学生核心素养发展角度入手，以任务目标为依托，以学生为主体，概述了小学体育“趣味田径”项目体育课程建设路径，以期通过“学、练、赛、评”的环节设计，让学生活动实践体验，促进学生身心情智、体育精神、思维品质与创造能力的协调发展。
目的:肉瘤样肾细胞癌是肾癌的一种特殊去分化形式,预后极差,有关的分子机制研究尚不完善。肾细胞癌本身的预后差异极大,需要预后模型将病人分层从而指导精准治疗。方法:从TCGA数据库下载伴有肉瘤样分化的透明细胞肾细胞癌（sRCC）和作为对照的不伴有肉瘤样分化的透明细胞肾细胞癌（ccRCC）数据,使用倾向得分匹配两组病例,然后进行转录组学等比较差异。使用分析得到的肉瘤样分化相关基因,通过Lasso-COX
目的:烟雾病是一种颈内动脉末端慢性狭窄闭塞性疾病,临床症状多种多样,但是多与颈内动脉狭窄或闭塞导致大脑灌注水平下降相关,而颅内供血除了颈内动脉之外,还有椎动脉体系提供,虽然临床经验已经发现大脑后动脉在烟雾病患者中扮演重要角色,但是并没有明确的研究分析大脑后动脉的作用。本研究目的是探讨烟雾状血管发生时大脑后动脉发挥的作用,结合烟雾病患者全脑数字减影血管造影图像和手术前后患者大脑灌注水平的变化,探索一
针对液压柱塞泵加速寿命试验中出现回油压力突然增大的现象，完成了对故障现象的初步判定、分解检查、微分计量和理化分析，通过对历年轴承滚子的凸度值复测，发现滚子凸度设计值不合理是导致产品失效的主要原因，通过统计分析和试验验证，确定了轴承滚子合理凸度值。
站立平衡是保持身体重心在站立支撑面内达到动态稳定的过程,是维持姿势稳定、实现行走、跑步等运动功能的重要前提。站立平衡过程需要感觉和运动系统紧密配合,其中来自视觉、触觉、本体感觉和前庭系统平衡觉等感知输入有助于中枢神经系统及时确定身体站立的姿态与方位,并能根据环境信息和重心变化实时调整运动指令;在神经支配下的肌肉、骨骼和关节等运动系统可根据获得的运动命令产生合理的肌肉收缩、力矩改变和重心迁移,实现站
海量用户的接入是新一代5G、6G无线通信中需要研究的一个关键技术问题,引入更高效的多址接入技术是解决这一问题行之有效的手段。非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术能够以有限的资源支持超载传输并显著提高频谱效率,因此成为5G、6G通信系统中实现大规模接入的候选技术。在基于NOMA的无线通信系统中,资源分配是影响系统性能的关键因素,主要包括用户分组
新能源汽车技术的不断发展，新能源汽车的的持有量也在不断地增长，汽车底盘作为汽车的重要组成部件，直接影响到汽车的安全性和可靠性。对于新能源汽车底盘的故障更具有多多样化，复杂化的特征，本文从新能源汽车底盘的构造和常见故障展开，对于一些常见的故障以及维修方法的分析，进一步提高了汽车底盘故障诊断的维修水平。
阿尔法磁谱仪（Alpha Magnetic Spectrometer,AMS）是安装在国际空间站（International Space Station,ISS）上的高能粒子物理探测器,用于探索宇宙中的暗物质与反物质。为了保证实验数据的准确性,研究人员设计了热控制系统来维持AMS在近地轨道运行时的稳定性能。在轨运行多年后,其子探测器——硅微条探测器（Tracker）的热控制系统（Tracker T
当前，我国经济持续发展，信息技术不断进步、融合和突破，企业之间的竞争越来越激烈，信息技术在各行各业中得到了广泛的应用，对企业的生产、变革产生了积极的影响。财务管理信息化建设是新时代企业转型的重要趋势，是企业提高自身综合实力的有力手段。企业应积极运用信息化的方法，结合大数据、物联网、云计算等技术构建信息化平台，提升企业决策及管理水平，降低企业管理成本，实现企业战略发展目标。当前，部分企业在财务管理过
财务信息化建设是企业发展的必然选择，在财务信息化建设工作的不断推进下，能够实现企业的可持续发展。基于此，文章重点对企业财务管理信息化建设的问题及对策进行分析，从企业财务管理信息化建设的意义入手，分析企业财务管理信息化建设的问题，提出企业财务管理信息化建设的策略，以供参考。