基于深度强化学习的EV充放电博弈策略研究

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:shi893932393
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全球能源供需紧张,世界各国正在努力实现“碳中和”,发展节能和新能源成为主流趋势。随着电动汽车(EV)的普及以及其本身低污染和无噪音的特性,在全球范围内得到大力发展。但庞大的用户集群倾向于晚间用电高峰期充电,不仅会导致夜间电力需求激增,还会增加用户充电成本。如何制订社区EV充电策略使得EV代理商和EV用户双方的均衡利益最大化是电力系统研究的重要内容。传统的电力系统优化策略往往只考虑到电网侧或需求侧的单方模型而忽略了双方共同作用下的博弈策略模型,使得优化结果出现折损。基于以上原因,本文利用社区历史用电数据,根据用户集群与代理商双方的需求建立EV集群充放电博弈策略模型,并求解规定条件下两方最优博弈解以实现均衡利益最大化的目标。并以此展开了如下研究工作:(1)经典EV充电两方模型及充电模型建模。选取了具有中国用户行为特征的电动汽车出行数据,并对出行数据进行函数拟合。对EV用户和EV代理商双方收益建模,利用蒙特卡洛算法和PSO算法对模型进行仿真,研究双方收益之间的关系,并提出了经典模型存在的问题。(2)基于LSTM神经网络的电价数据预测模型。介绍了电价数据的特点以及利用LSTM神经网络提取电价特征的优点,分别利用LSTM长短期记忆网络和ARIMA算法对历史电价数据进行预测并对比两算法优缺点。(3)基于MADDPG多智能体算法的EV充放电博弈策略模型。对多智能体算法进行对比并结合课题研究特点选取合适算法,利用多智能体算法构建马尔可夫博弈,创建动作-状态空间函数以及EV充电两方模型的目标函数,对算法模型进行仿真求博弈均衡解,并对超参数进行多值选取进行对比。利用多智能体算法和电价预测模型对充放电博弈模型进行仿真试验,结果表明:本文提出的算法模型相比于DDPG算法和经典PSO算法在用户充电满意度方面分别提高了4.6%和6.1%,在代理商收益方面分别提升了4.1%和6.7%,验证了本文所提方法的有效性。
其他文献
心跳信号是人体最重要的生理信号之一,对心跳信号的检测分析可得知人体的健康状况。目前常用的心跳检测方法主要为接触式检测方法,包括心电图(Electrocardiograph,ECG)法和光容积描记(Photo Plethysmograph,PPG)法等,但这些方法对烧烫伤人员、传染病人以及电极敏感患者不适用。生物雷达因具有非接触、可穿透检测等优势可有效解决这一问题。生物雷达心跳信号具有微弱易受干扰的
学位
金属屏蔽罩作为半导体芯片的保护元件,其表面质量对芯片的性能和可靠性有着直接影响,因此在生产过程中,金属屏蔽罩表面的缺陷检测至关重要。然而金属屏蔽罩表面含有复杂的背景纹理,会在缺陷的检测过程中产生干扰,影响检测的准确性。尽管人工目检和机器视觉的检测方法已经存在,但都存在一定的局限性,并且检测精度不高。近年来深度学习凭借其强大通用性和自主学习能力,在缺陷检测中被广泛的采纳和应用。因此,本文以深度学习方
学位
为提高多路炸药起爆系统的威力,必须使得多路炸药起爆系统中每一路炸药同步起爆,然而无法做到真正意义上的炸药同步起爆,只能够尽量缩小每路炸药起爆的时间差值。为缩小每路炸药起爆的时间差值,就需要设计一套精密时间间隔测量系统来测量每路炸药起爆的时间差值。目前没有专门针对多路炸药起爆系统的时间间隔测量系统,且大多时间间隔测量系统的测量精度较低,测量通道少。本文针对上述问题,开展基于信号处理与时间间隔测量的方
学位
旋翼无人机因其垂直起降、控制简单、便于悬停而在越来越多的领域得到广泛的应用,但是,电动旋翼无人机因其算力弱、容量小、功耗受限等问题,导致其电池相关参数估算精度不足,故通过云端增强其电池管理能力已成为电动无人机(集群)电池管理系统的必经之路。无人机由于工作状态、任务需要或外界干扰,经常会导致与云端中止数据更新,使得电池管理能力增强失效。因此,本文利用端云跨平台架构优势,对无人机电池管理系统数据链断续
学位
随着当代社会经济的迅速发展和汽车数量的增加,环境污染以及能源短缺问题愈发严重,电动汽车凭借低噪、零排放等优势成为了汽车行业发展的主要方向。动力电池作为整车的核心部件,对车辆续航能力、加速时间、安全系数等汽车性能起着决定性作用,准确估计动力电池荷电状态(State of Charge,SOC)能够提高电池的使用效率和用电安全性,让驾驶员实时了解电动汽车剩余可行驶里程,便于电池管理系统(Battery
学位
身管是火炮等速射武器的核心部件,对整个系统的性能和寿命至关重要,其主要作用是将弹丸以一定速度发射至膛口。弹丸在身管膛内的运动参数关乎着弹丸出膛的速度、能量和轨迹,是对弹丸射击精度研究的重要参数。在工作过程中身管承受着高温、高压等冲击载荷,导致其寿命是整个武器系统中最短的部件之一。因此,为了保障火炮的安全运行,针对身管剩余寿命、材料改进的研究仍是重点研究方向。身管外壁在弹丸发射时的高过载环境下的应变
学位
无人装备已成为未来对抗重要手段,随之而来的试验需求日增;而军民融合策略使各类公司均可参与,广泛参与下被试品良莠不齐,常有异常情况发生。靶标的异常情况其后果可能很严重;不但会影响试验测试的准确性,甚至可能造成人员伤亡和重大财产损失。因此,对靶标进行异常行为监测和管控,具有十分重要的意义。本文以靶标(无人机)为研究对象,针对可能出现的失控、越界等异常状态,研究靶标的异常状态规律,建立靶标异常行为的判决
学位
由于生活工作节奏的加快,慢性疾病困扰着人民的健康,空间环境气候的改变也影响着治疗效果。理疗以其无毒、无副作用和起效快等特点,受到广大慢性病患者的青睐。然而,传统的理疗仪外形笨重、功能单一、治疗过程枯燥、操作繁琐,严重限制了患者的使用。音乐治疗综合了音乐学、医学和心理学,已被古今中外证实为一种特殊的治疗方式。电疗法通过低中频脉冲电流刺激人体组织,进而实现治疗多种疾病。时间治疗学依据时间生物学理论选择
学位
随着无线通信、雷达、声呐、遥感等领域的快速发展,对于高精度、高可靠性的信号传输和测距技术提出了更高要求。线性调频信号是一种非平稳信号,具有距离远、抗噪性强、大时宽带宽积等优点,因此线性调频信号在高精度测距技术中得到了广泛应用。然而,在这些工程领域中不可避免地受到噪声干扰,尤其是在脉冲噪声干扰下,传统的信号测距方法性能大幅降低,严重影响了测距效果。为了解决该问题,本文开展了针对脉冲噪声背景下的信号测
学位
NPC(Neutral Point Clamped)型三电平逆变器逆变效率高、输出谐波含量低,广泛应用于电机传动系统及新能源领域,但恶劣的工况会使开关器件发生故障,从而影响系统可靠性,甚至造成设备损坏并危害人身安全。因此在故障发生时,采用有效可靠的容错控制策略,对维持逆变器的稳定运行具有重要意义。传统NPC型三电平逆变器容错控制策略处理的故障情况有限,且没有考虑容错运行下系统输出性能降低等问题,对
学位