基于深度强化学习的车联网通信、缓存和计算联合资源管理算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:sb129
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车联网中的应用服务(如信息娱乐服务和实时高精地图)往往需要满足低时延、高可靠性或高吞吐量的要求。为了满足这些应用服务的要求,车联网中涌现了许多技术。其中,网络缓存将流行的内容缓存到通信小区,从而减少重复内容的传输;移动边缘计算在接近用户侧进行任务卸载,从而节省了数据在核心网的传输时延;软件定义网络和网络功能虚拟化的结合可以实现网络级的资源分配和灵活的任务发放。为了进一步提高车联网的服务质量,对上述技术的联合研究具有重要的意义。本文结合软件定义网络和网络功能虚拟化技术,对车联网通信、缓存和计算联合资源管理算法进行了研究。主要工作如下:(1)研究了车联网通信、缓存和计算联合资源分配算法。针对车辆请求视频任务场景,本文建立了通信模型、计算模型和缓存模型,考虑了基础设施资源的有限性和车辆的移动性,并构建了最大化车辆请求视频任务吞吐量的最优化问题。根据最优化问题,提出了深度Q网络(Deep Q Network,DQN)算法:首先以模型中定义的物理量作为输入状态,并以车辆与基础设施的连接作为输出动作,然后奖励函数考虑贪婪策略和过载惩罚,最后设计神经网络结构并用于DQN算法训练。仿真分析了车辆数、平均内容请求大小对系统吞吐量的影响。在吞吐量达到饱和状态下,所提算法比贪婪算法的吞吐量高约15%,表明所提算法具有更优的系统吞吐量。(2)研究了车联网通信和计算联合资源分配算法。针对车辆请求实时高精地图任务场景,本文建立了通信模型和计算模型。结合负载均衡评价指标,在考虑通信和计算资源限制以及车辆移动性约束条件下,构建了车辆通信和计算卸载的负载均衡最优化问题。根据最优化问题,分别设计了DQN算法的输入状态、输出动作、奖励函数和神经网络结构。仿真对比了不同优化方案在车联网系统负载均衡方面的性能。在下行链路速率和计算速率方差方面,贪婪算法的方差是所提算法的4倍左右,表明所提算法具有更好的系统公平性。
其他文献
近年来,受全球气候变化的影响,海上极端恶劣天气(寒潮、风暴、台风等)频繁发生,其中,台风天气是影响珠江口水域的主要恶劣天气,会对船舶进出港作业带来极其不利的影响,是造成船舶延误的重要原因,会导致船舶运营产生极大损失。目前,台风天气下珠江口水域船舶的疏散调度是以满足安全为前提,基于先到先服务(FCFS)原则安排船舶尽快疏散出港,不会考虑疏散成本。而船舶的恢复调度是按照基于FCFS原则的次序恢复进港作
纳米硒由于其本身具有的如抗氧化、降血糖、抗衰老等诸多生物活性,且作为人体补硒产品的潜在形式,近年来受到广泛的关注。目前纳米硒的制备主要以多糖等生物大分子物质作为修饰剂,采用化学还原法进行制备,用于纳米硒制备的多糖种类多样,但羊栖菜多糖纳米硒的制备及生物活性研究尚未见报道。本研究采用超声辅助热水法提取羊栖菜多糖,单因素结合响应面实验对提取工艺进行优化,总结出一条最佳的羊栖菜多糖提取工艺。以自提的羊栖
随着经济高质量快速发展,作为电力传输“最后一公里”的配电网的建设也在快速推进,配电设备数量正在急剧增加,而供电部门运维人员的数量却几乎保持不变,使得人均设备维护量不断增加,运维压力越来越大,巡视周期不断拉长,以往采用的“一月一全巡”的无差异巡视策略执行难度明显增大。近年来,社会各界对供电可靠性的要求越来越高,传统的巡视策略无法和高可靠性的供电要求相匹配。目前,各供电部门都正探索开展配网设备差异化运
在新的传播格局下,微博信息流广告以大数据算法技术和平台用户流量为基础,研发了新的广告运营策略,为广告商和广告主带来盈利增长。微博信息流广告区别于传统原生广告,在制作与投放上都有着突出的新特点,本文从技术逻辑、市场逻辑、内容与价值逻辑三个方面分析微博信息流视频广告的传播逻辑,并从媒介学视角对该现象进行反思,为其日后的发展提供优化建议。
移动机器人集控制、通讯、感知、机械等多个学科技术,一直是学者们高度关注的研究领域。随着科学技术快速发展,移动机器人技术日趋成熟并渐渐应用于人们的日常生活中,如自动引导运输车、迎宾机器人、辅助驾驶车辆等等。在面对越发复杂的应用场景,对移动机器人的智能化要求就越高。其中自主导航、移动避障、轨迹跟踪则是移动机器人最基础也是最关键的功能,具有非常重要的研究意义。本文将基于激光雷达,对移动机器人的二维地图构
随着计算机技术的不断发展,各种软件工程管理系统的流程越来越多,操作越来越繁琐,不同企业需要不同的工作流程,但是却有着相似的开发过程,单独地开发企业的软件业务管理系统,浪费大量的人力,且代码冗余等问题也将变得很突出。针对以上问题,本文提出任务路径的概念。任务路径是一种通用的业务流程开发工具,支持业务流程的标准化、规范化。流程的每个子操作定义为任务路径节点,只操作之间如何相互转移定义为节点之间的关系。
广府地区具有较丰富的历史建筑资源,其中祠堂数量较多。由于长期受到自然环境的作用,多数木结构的祠堂建筑存在着不同程度的残损,需要及时的修复和维护。木结构建筑中榫卯节点连接是结构中的关键部位且容易在此位置产生损伤,这对结构在地震响应下的受力性能影响巨大。本项目依托自主研发的雀替形钢板-橡胶组合阻尼器,对广府古建筑进行无损加固,并探究加固前后的抗震性能,力求为历史文物遗产的修复提供理论依据和设计参考。本
机器人应用在机加工制造领域相较于传统的数控机床具有灵活性高、成本低、加工范围广、并行协调作业能力强等优点,因此机器人在切削加工领域的应用逐渐增多。然而,工业机器人由于自身多关节串联结构的特点,存在着绝对定位精度低、刚度弱两大问题,这严重制约了机器人在高精度制造领域的应用。因此,解决机器人低精度、弱刚性与复杂零件高精加工之间的矛盾,是机器人加工领域的研究热点。本论文针对机器人铣削加工中绝对定位精度低
手写文本识别是模式识别领域中的一项重要任务。得益于近年来计算机科学和深度学习的飞速发展,手写文本识别技术的应用场景逐渐变广。常规的手写文本数据集已不足以应对多样的真实场景的研究需求。另一方面,主流的篇幅级手写文本识别方法依赖于文本检测器,在真实场景下性能较差。因此,本文面向真实场景进行手写文本识别研究,主要工作包括:1.分析了现有手写文本数据集的局限性,并针对手写文本识别技术的一项真实应用场景——
光场相机是一种基于光场成像技术的新型成像系统,它通过在主透镜和传感器之间加入微透镜阵列来实现对场景光线二维空间信息和二维角度信息的捕获。相较于传统相机,光场相机可以提供更加丰富的信息,在三维场景的重建和深度估计等领域具有非常广阔的应用前景,但是光场相机拍摄的照片存在分辨率不足的缺点。针对光场图像分辨率低的问题,结合稀疏表示的图像超分辨率算法在图像处理方面的优势,本文研究了基于稀疏表示的光场图像超分