雾无线网络中基于深度强化学习的智能资源调配

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xiaofeiyu520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动数据流量快速增长和业务类型日益多样化,雾无线网络受到业界广泛关注,借助雾接入点的计算和缓存能力,可有效降低用户时延和能耗并减轻前传和回传链路压力。为充分发挥雾无线网络性能潜力,资源调配的优化至关重要,然而,传统资源调配方法通常复杂度较高,难以适配复杂时变的雾无线网络环境。相比其它人工智能算法,深度强化学习将深度学习的感知能力与强化学习的决策能力相结合,能够直接从高维原始数据学习控制策略,快速应对无线网络环境的变化。由此,基于深度强化学习理论,本文针对雾无线网络多用户、多雾节点场景中的无线计算资源和缓存资源调配问题分别提出了高性能低复杂的智能资源调配方法。本文主要工作及贡献如下:1.在多用户、多雾节点的计算卸载上行场景下,提出了基于多智能体深度强化学习的雾节点选择方法,通过将在线优化复杂度移至离线训练阶段,在线决策时间大大降低,实现了对时变信道和用户动态任务请求的自适应。具体地,首先利用马尔可夫过程对无线信道状态和设备计算任务请求的动态性进行了建模,在此基础上构建了以最小化系统长期能耗为目标的优化问题,该问题可解耦为给定雾节点选择策略下的单雾节点任务转发决策问题以及给定转发策略下的雾节点选择优化问题。对于前者,本文在考虑雾节点计算能力受限下提出了低复杂度的贪婪算法进行求解,而后者则利用多智能体深度强化学习方法求解,在达到性能和复杂度折中的同时有效克服了单智能体深度强化学习面临的维数爆炸问题。此外,本文对所提方法进行了复杂度分析,并通过与遗传算法等方案的对比验证了方法有效性。2.在多用户、多雾节点的内容分发下行场景下,为充分利用雾节点有限的缓存空间同时克服缓存决策与优化目标间无显式关系式的挑战,提出了基于分布式深度强化学习的多雾节点协作缓存方法。具体地,首先给出了邻雾节点协作缓存模型,其中每个雾节点可从其它满足距离门限的节点处获取本地未缓存内容。在此基础上,构建了以最小化系统长期内容传输时延为目标的多雾节点协作缓存优化问题。由于问题紧密依赖用户的节点接入策略,其优化目标显式表达式难以给出。为此,本文利用分布式深度强化学习方法求解缓存放置,其中每个雾节点对应的深度强化学习模型输入状态为该节点的内容缓存和上一次接入用户的内容请求,输出动作为满足该节点缓存空间限制的缓存内容放置决策。此外,为了实现雾节点间的隐性协作,奖励值设为所有用户的内容传输时延之和。最后,本文通过与多种经典缓存方案进行对比,展示了所提方法的优势。综上,本文针对雾无线网络中的智能资源调配方法进行了研究,是对雾无线网络资源优化理论与方法的有益补充,同时也为其它无线网络中的资源调配研究提供了新思路。
其他文献
央视2015年推出的国际化大型纪录片《第三极》,以西藏美丽的风景和高原人民活动轨迹为中心,讲述了青藏高原人与自然和谐相处的故事,揭开了青藏高原神秘的面纱,全片通过40个不同的故事展示了生命之韧和生命之美,反映藏族传统文化的发展与继承、传统生活方式的延续与保留以及人与自然之间令人惊讶的平衡.《第三极》中囊括了丰富的“艾柯十大代码”符号信息,在能指信息下参与表意,所指《第三极》表达的深层含义.本文基于影视符号学“艾柯十大代码”的基础上对纪录片《第三极》进行分析与解读.
本文主要对广播新闻采访的录音制作进行阐述,分析音频录音采访的注意要点和音频录音采访设备的合理使用及采访录音的后期剪辑技巧,希望对好广播新闻录音新闻采访作用价值的充分发挥起到积极参照作用.
无人机由于其低成本,易部署和通信链路可靠等优势,成为实现应急通信、热点区域覆盖等作用的有效技术之一。在热点覆盖场景中,存在大量重复请求的多媒体内容分发需求,大量内容传输与通信资源受限的矛盾导致无人机辅助蜂窝网络的传输能力难以满足用户需求。针对其中热点内容重复请求的情况,无人机部署存储设备缓存热点内容,从而有效卸载无线回程链路的流量并满足用户对低内容传输时延的需求。此外,无人机的移动特性使得无人机通
现如今随我们国家在各个领域的发展,电视台在开展工作的时候,电视播放形式也有了一定的变化.电视导播技术的使用不仅是形式上的变化,更多的是创作水平的提升,这为电视节目的录制和播放都带来了有利条件,电视台对电视导播的使用是十分重视的.本篇文章主要是对电视节目在录制和转播时使用导播的方式有何优势进行分析,从而为相关工作人员的工作提供帮助.
网络选秀综艺作为一种偶像养成类节目,近年来收获了不少的关注度,也因此打造了一批又一批爆款节目.本文以2021年小火的选秀综艺《创造营2021》为例,从节目风格、受众心理、国际化趋势、多渠道传播等六个方面来分析其发展的新特征.网络选秀综艺节目契合当下年轻人的娱乐化需求,在众多选秀综艺不断迭起的今天,《创造营2021》在其节目形式和节目风格等几个方面都有所创新,本文聚焦其节目特色,来浅析其发展的新特征.
媒体的大范围、深层次融合为广电的发展带来了新的机遇和挑战,如何在融媒体的背景下去提升电视节目的质量,利用其自身的品牌效应去实现传播互动,是当前电视从业者发展面临的重要课题.本文以电视纪录片例,浅析在融媒体时代环境下,电视纪录片的探索,寻求电视纪录片的新模式,使其走向更广阔的发展前景之路.
伴随着以5G和云为代表的数字化浪潮,移动和物联网设备爆发式增长,移动通信网络的规模和复杂性持续加大,IPv6凭借其充足的地址空间、端到端的对等通信服务、内嵌的安全机制等优势,为移动通信带来了无限的发展空间。在国家发展战略和产业自身发展需求的背景下,大量移动应用程序向兼容IPv6的方向迁移,移动应用程序的IPv6升级改造在提高用户体验、增强数据安全以及推动IPv6规模化部署等方面具有重要意义。然而,
纵观当下国产电影市场,备受观众关注的大多数以男性为叙事主体,而缺乏以女性为叙事主体的电影,这导致了女性形象在电影市场中的缺位,因此刻画女性形象时的“男性凝视”则成为了众多影片中的常见现象.在“男性凝视”下,女性形象通常作为第二性出现在影片中,以“工具”和“他者”的形象呈现,男性则成为观看和审视的第一性.然而,今年春节档的大火的影片《你好,李焕英》突破了这一刻板的局面,女性导演视角下的女性形象呈现出主体化和多元化趋势,而不再是以被审视的“客体”出现在大荧幕上.本文试图从女性主义分析的角度对电影《你好,李焕英
伴随科学技术高速发展、互联网技术的快速推进,大数据时代到来,对于广播电视新闻节目也带来了巨大打击,使得传统广播电视节目面临严峻考验.但不可否认,大数据高速发展背景下,也给广播新闻电视节目改革完善提供了发展机遇.为了确保广播新闻节目在大数据背景下,能够持续生存下去,就必须要重视创新求变,加强改革与发展,这样才能更好地适应社会发展需求.基于此,下文当中主要对大数据背景下,广播新闻节目改革发展进行相应的探讨和分析,以供参考.
随着智能终端的不断普及和发展,视频已成为当今主流的媒体传播形式。由于人体行为是事件发展的主体,对于人体行为的识别和预测是基于计算机视觉的视频理解和分析的重点。与RGB图像相比,人体的骨骼关节点可以很好地描述人体行为,而且骨骼数据对于复杂的背景和相机的视角变化具有很好的鲁棒性。针对人体骨骼数据这种非欧几里得数据,如何利用图卷积网络提取丰富的时空特征是构建人体行为识别和行为预测模型的关键,也是课题来源