基于多智能体元强化学习的车联网协同服务缓存和计算卸载

来源 :通信学报 | 被引量 : 0次 | 上传用户:cwg8872757
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了降低求解优化问题的难度,提出一种双层的多路侧单元(RSU)协同缓存框架将问题进行解耦。外层采用多智能体元强化学习方法,在每个本地智能体进行决策学习的同时,采用长短期记忆网络作为元智能体来平衡本地决策并加速学习过程,从而得到最优的RSU缓存策略;内层采用拉格朗日乘子法求解最佳协同卸载策略,实现RSU间的任务分配。基于杭州真实交通数据的实验表明,所提方法具有理想的能效性能,并且能够在大规模任务流下保持网络稳健性。
其他文献
针对现有随机路由防御方法对数据流拆分粒度过粗、对合法的服务质量(QoS)保障效果不佳、对抗窃听攻击的安全性有待提升等问题,提出一种基于深度确定性策略梯度(DDPG)的随机路由防御方法。通过带内网络遥测(INT)技术实时监测并获取网络状态;通过DDPG方法生成兼顾安全性和QoS需求的随机路由方案;通过P4框架下的可编程交换机执行随机路由方案,实现了数据包级粒度的随机路由防御。实验表明,与其他典型的随
为了应对设备差异化计算能力及非独立同分布数据对联邦学习性能的影响,高效地调度终端设备完成模型聚合,提出了一种基于深度强化学习的设备节点选择方法。该方法考虑异构节点的训练质量和效率,筛选恶意节点,在提升联邦学习模型准确率的同时,优化训练时延。首先,根据联邦学习中模型分布式训练的特点,构建基于深度强化学习的节点选择系统模型。其次,考虑设备训练时延、模型传输时延和准确率等因素,提出面向节点选择的准确率最
为了解决现实环境中网络规模日益扩大导致网络攻击持续高发的现状,将威胁情报应用到态势感知,构建基于随机博弈的态势感知模型。将外源威胁情报与系统内部安全事件之间的相似度进行比较,对目标系统进行威胁察觉,根据系统内部的威胁信息生成内源威胁情报;在此过程中,利用博弈论的思想量化系统当前的网络安全态势,评估网络的安全状况,最终实现对网络安全态势的预测。实验结果表明,基于威胁情报的网络安全态势感知模型能正确地
针对具有反馈时延的单小区多用户MIMO蜂窝干扰网络,采用时延度(Do D)来量化干扰对齐方案引起的信息时延,提出一种基于偏袒干扰消除的回溯干扰对齐(PIE-RIA)方案。该方案首先在中继处获取干扰符号并设计预编码矩阵,然后中继发送已编码的干扰符号至用户执行干扰消除,最后基站利用反馈的干扰信号与CSI实现多个用户的回溯干扰对齐。仿真结果表明,PIE-RIA方案在保留自由度(Do F)增益的同时降低了
目前,关于分布式存储因果一致性的研究领域中鲜有考虑安全风险的成熟方案。在混合逻辑时钟和HashGraph的基础上,结合可信云平台中的可信云联盟技术,提出了具有可信约束的分布式存储因果一致性模型(CCT模型)。CCT模型在客户端、服务端分别设计了身份认证和一致性数据可信校验机制,并对云存储集群中数据副本之间同步数据的过程进行了安全约束。通过仿真实验验证,CCT模型在造成了较小性能开销的前提下,能对客
针对软件定义网络(SDN)中数据包缺乏有效转发验证机制的问题,提出了一种基于属性签名标识的数据包转发验证方案。首先,根据用户的身份属性生成属性签名标识,并为数据包打上属性签名标识。然后,使用P4转发设备对数据包进行精确控制与采样,控制器对采样数据包进行属性签名验证,OpenFlow转发设备根据控制器下发的流表对转发异常的数据包进行处理。最后,构建了多控制器架构,避免了控制器单点失效故障。实验结果表
针对付费信道网络交易成功率低及网络失衡问题,提出区块链付费信道网络高效路由策略。该策略根据业务类型及业务优先级为高优先级业务建立专用付费信道,并将常规业务划分为多个交易单元,通过信道均衡选路算法为各交易单元选路,减少链上交易次数,维持付费信道的长时间稳定性运行,提高交易成功率。为了避免多个交易同时使用某一链路导致资金暂时性短缺、信道不可用,设计付费信道网络交易排队机制。该机制通过计算交易到达节点与
针对传统流形学习在数据降维时不考虑原数据类别和聚类程度低的缺陷,提出了一种有监督判别投影(SDP)的流形学习降维算法来改善网络安全数据降维效果。在近邻矩阵基础上,利用数据集的类别标签信息,构建有监督判别矩阵,变无监督流形学习为有监督学习,寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间,保证了降维投影后同类数据聚集而异类数据分散的特性。实验结果显示,与传统降维算法相比,所提算法可
近年来,如何识别影响力最大的重要节点已成为网络科学最前沿的热点方向。将复杂网络节点影响力最大化问题表述为一个优化问题,其成本函数表示为节点影响力及其间的距离,使用Shannon熵对节点影响力进行度量,并利用一种改进灰狼优化算法来解决此问题。最后,使用真实复杂网络数据集进行数值计算。结果表明,与现有算法相比,所提算法精度更高,且计算效率较高。
研究了 Sunthane? E1055硫化体系组成及用量对其胶料力学性能的影响.结果表明,使用硫黄硫化体系可使Sunthane? E1055硫化胶获得较好力学性能和耐磨性;使用过氧化物硫化体系(