电动汽车（electric vehicle,EV）有序充电是实现在智能电网环境下车网协同发展和提高综合社会福利的重要手段。而价格信号是推动电动汽车车主积极响应电网需求的重要指标,怎样在不同的政策参数和用户响应场合动态合理的制定购售电价格,是电动汽车普及推广中应考虑到的核心难点之一。而单从物理运行角度调节EV充电特性或调整电力系统运行的传统模式已经难以调动EV有序充电的交互积极性。充分利用电动汽车代理聚合商（electric vehicle aggregator,EVA）在电力市场灵活购售电优势参与多方博弈是应对复杂变化环境并发掘经济潜能的重要手段。在此背景下,本文采用多智能体强化学习模拟在现实环境下EVA参与的购售电博弈模型,根据交互决策的博弈均衡解进行内外层优化,主要工作内容如下:对于购电模型,考虑到随着电力系统新能源渗透率的不断提高,电力现货市场价格频繁发生较大波动的现状,为了锁定收益,EVA应该把盈利的主要目标转向中长期市场。随着电力体制改革不断推进,在交易标的、组织方式、出清方法、政策要求等方面,电力中长期交易都发生了较大变化,亟需探索中长期市场政策变动下EVA的报价策略。基于博弈均衡理论,本文建立EVA参与中长期电力市场下考虑配额制交易的非合作博弈模型,考虑到传统强化学习方法难以实现对多主体非完全信息博弈模型的求解,本文采用多智能体深度确定性策略梯度算法（MADDPG）求解上述背景下的模拟仿真场景。最后,通过算例分析证明了所提模型在仿真简化多主体博弈环境下的有效性。对于售电模型,根据中长期代理购电的输入解,对灵活性不足的部分采用考虑现货市场的补充手段。考虑到传统的EVA采用的固定服务费定价模式,难以有效引导需求侧资源响应电力市场价格信号。而实时定价策略能够灵活反应市场供需情况,引导电动汽车用户用电行为,降低无序充电对电力系统稳定性产生的负面影响,充分挖掘EVA参与电力市场的经济潜力。本文依托电动汽车用户历史行为数据,以峰谷分时、需求侧响应、现货市场偏差平衡的多市场交易模式下EVA综合收益最大化为目标函数,建立了基于强化学习算法的96点V2G动态分时定价模型,并对比了 EVA在同种算法下峰谷平定价与小时定价策略的收益对比。结果表明定价频率更高的方案可以更有效引导用户的充电行为,在更大程度上挖掘电力市场的经济潜力的同时,平抑电网的负荷波动。