基于光子神经网络的强化学习模型及应用

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:sharongd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光子神经网络因其高速率、低功耗、大带宽等优势在近年来受到了人工智能领域的广泛关注。但是目前光子神经网络大多应用在监督学习任务中,而监督学习需要大量的先验数据做支撑,这也使得监督学习的应用场景较为局限。随着人工智能领域的飞速发展,人们对智能体的学习能力也提出了更高的要求,需要智能体能够像人类一样通过与环境的不断互动来学习更为复杂的任务,这就是强化学习。本文将光子神经网络应用在强化学习任务中,在扩展光子神经网络应用领域的同时也为强化学习的实现方法提供了新思路,完成的相关工作如下:一、提出一种基于光子神经网络的强化学习模型(Optical Neural Network Reinforcement Learning Model,ORL),并将 ORL 模型应用于离散数据空间的强化学习环境。本文使用的是强化学习中常见的环境模型—网格世界(Grid World),并自主搭建了二维和三维的情况。在二维网格世界中,基于ORL模型的智能体可以在200局游戏后就稳定地找到通向终点的最短路径;在三维网格世界中,基于ORL模型的智能体在经过300局游戏的学习后从起初的每局需要行走1000步下降到每局只需要近20步就可以走到迷宫终点。二、将ORL模型应用于连续数据空间的强化学习环境,本文使用的连续状态环境是强化学习环境工具箱—Open AI Gym中的Cart Pole游戏,经过仿真结果验证,基于ORL模型的智能体可以在450局游戏后稳定地达到每局游戏的最大步长,即小车可以稳定地支撑滑杆不倾倒。通过ORL模型与当前强化学习的电子架构DQN的性能对比可以得出,基于ORL模型的智能体有着与电子强化学习架构相当的学习能力和环境适应能力,这也证明将光子神经网络应用在强化学习中有着十分诱人的发展前景。
其他文献
结合实际项目案例,对多能互补智慧微网系统在楼宇型零碳建筑中的应用进行了实践和探索,提出了基于光伏、风电、储能、微电网等不同元素的系统解决方案.通过以多能互补的理念进行智慧能源系统集成,实现“源-网-荷-储”协同管理,有效降低了建筑总体碳排放量,对在类似项目中推广应用和实现国家“碳达峰、碳中和”的目标具有重要的示范意义.
通过采取各种技术手段提升低效风电场或低效风电机组的发电量,可提升投资企业的收益,也能为实现“双碳”目标贡献一份力量.从多个角度分析了提升在役机组发电量的方式.结合实际案例,建议优先从软件优化入手.
厌氧发酵产CH4是解决畜禽粪污污染问题的主流方式.厌氧反应器是将畜禽粪污转化为CH4的核心设备,对有机物的去除率、发酵产气率和稳定性、初始投资等都有决定性的影响.综述了厌氧发酵反应器的演变进程,并分析了当前国内外主流反应器的工作原理、优缺点以及原料适应性等.基于反应器对原料的适应能力对反应器进行了归类,建立了基于原料特性的反应器类型选择方法.在采用湿式厌氧(混合)发酵工艺处理畜禽粪便的工程实践中,宜优先选用CSTR反应器.研究结论可加深对厌氧发酵反应器特性和演化进程的理解,为反应器优化提供帮助,同时为畜禽
随着现代科技的不断发展,信息通信技术逐步融入我们的生活,物联网应运而生。物联网技术是支撑“网络强国”和“中国制造2025”等国家战略的重要基础,在推动国家产业结构升级和优化过程中发挥重要作用。物联网应用涉及国民经济和人类社会生活的方方面面,如智能家居,数字医疗,智能电网,智能城市等。物联网技术的广泛应用使得其安全性和隐私性备受关注,物联网系统固有的组网异构、应用场景复杂、计算存储能力受限等特点使得
在掘进机破岩过程中会产生大量的粉尘,不仅遮挡了视线,还危害工人的身体健康.为此,必须采取有效的措施降低综掘工作面内的粉尘浓度.简要介绍了粉尘的危害和降尘的原理,重点分析了综掘工作面综合降尘系统,以期为综掘工作面的降尘提供一定的参考.
钢铁企业富余煤气量随着产能的增加与节能措施的不断改进大幅度增加,充分利用二次能源,高效回收利用富余煤气发电是钢铁企业煤气资源综合利用的主要思路.将成熟高效的燃煤火电机组技术移植到钢铁企业煤气发电机组上,采用超高温亚临界一次再热技术,大幅提高煤气发电机组的经济性水平.
井下采矿难度和危险系数较高,深入研究并推进井下采矿技术的发展,探讨其发展趋势,能够提高采矿效率,降低工作难度,减少安全事故的发生.基于井下采矿技术的特点以及实际情况,分析井下采矿技术的应用现状以及未来发展趋势,旨在为企业的井下采矿作业提供指导与借鉴.
随着社会经济的发展,工业、日常生活的需水量均有所增加,而部分地区的水资源开发模式较为粗放,水资源紧缺的局面逐步显现.在此背景下,加强水资源的监测与利用成为缓解水资源紧缺局面的关键方法.立足于A市的水资源现状,剖析其在开发利用中存在的问题,梳理出水资源开发利用与监测的关联性,再探寻具体的应对措施,以期为现代水资源开发利用工作助力.
根据山西辛置矿的实际情况,对其地面供配电系统方案设计进行了分析.分析了矿井输变电过程中的线路选择和保护,探讨了煤矿地面的35 kV和10 kV供配电系统布置情况,可为煤矿工业广场的供配电系统设计提供一定的参考.
在煤矿井下开采时,地质条件对安全生产的影响十分显著.为了预防煤矿地质灾害的发生,保证煤矿的安全开采,则必须要做好煤矿地质测量工作.煤矿地质测量工作的主要内容是查明煤矿地质构造的分布和水文情况,其对安全生产的作用主要是灾害的防治和预报.分析了煤矿地质测量工作内容,重点探讨了其对安全生产的作用,可以为煤矿地质测量工作的开展提供一定的参考.