基于增强学习的F-RAN编码缓存策略

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:studied1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
雾无线接入网(Fog Computing Based Radio Access Network,F-RAN)作为5G无线接入网解决方案之一,具有低前传链路开销、低传输时延、低网络拥塞等特点,提供了更多的通信信息与控制功能。深度增强学习(Deep Reinforcement Learning,DRL)结合了深度学习(Deep Learnning,DL)处理感知问题和增强学习(Reinforcement Learning,RL)处理控制决策问题的优势,可以解决现实中复杂场景下的感知决策问题。目前多数文献并未考虑文件流行度等环境参数变化场景下的F-RAN协作编码缓存和缓存替换配置问题,且经典算法在该场景下的应用具有局限性,因此可以结合人工智能(Artificial Intelligence,AI)范畴的DRL方法,在确定系统状态空间及动作空间的情况下,将协作编码缓存和缓存替换过程建模为离散时间系统(Discrete Time System,DTS)下单智能体的感知决策问题,通过智能体对变化环境的适应性探索并基于回报函数确定状态转移动作,给出编码缓存策略和缓存替换配置的局部最优解。论文主要以DRL启发式算法为主,如DB3C,CBA3C算法,解决了文件流行度变化场景下F-RAN中的协作编码缓存策略问题以及编码缓存替换配置问题,主要包括以下两部分研究内容和结论:(1)针对文件流行度变化场景下的F-RAN协作编码缓存策略问题,论文分析并构建符合该问题场景的DRL模型,采用基于DQN的启发式算法DB3C,确定系统状态空间和动作空间并根据缓存文件联合传输成功率确定回报函数,调整参数以实现算法在文件流行度变化场景下的收敛。仿真分别对比DB3C、RL算法、带编码最流行文件缓存算法及无编码最流行文件缓存算法在系统回报上的表现,证明DB3C具有较优的性能。(2)针对文件流行度变化场景下的F-RAN缓存替换配置问题,论文分析并构建符合该问题场景的DRL模型,采用Camul算法和A3C多线程训练模式相结合的启发式算法CBA3C,确定系统状态空间和动作空间,并综合考虑缓存命中率和系统开销推导回报函数,调整参数以实现算法在文件流行度变化场景下快速收敛。仿真分别对比CBA3C、LRU、LFU、MARKING 和 DQN 算法,证明 CBA3C 启发式算法能够在保证系统较好缓存命中率的同时取得较低系统总开销。
其他文献
近来,有研究发现电磁波(EM)的一种特性是同一频带下能够多路传输携带轨道角动量(OAM)的涡旋电磁波,并且不同轨道角动量模态的涡旋电磁波束之间相互正交。因此,轨道角动量可以作为新的资源应用于无线通信中。通过同轴发送多个OAM涡旋电磁波束,可以实现同时同频传输多路信号,这种基于轨道角动量的多模态复用将大大提升无线通信系统的容量及频谱效率。将OAM涡旋电磁波束应用于无线通信,首先要对轨道角动量的基本理
养殖的畜禽产品质量不达标,养殖环境呈现脏乱差现象,养殖技术欠缺科学性,凭借经验主义搞防疫检疫工作,是目前农村畜禽养殖管理过程中表现出来的不足之处。要解决这些问题,就要慎重购买畜禽品种,把好质量关口,努力改善养殖的条件,学习科学饲养的技术,在防病检疫工作方面,更要严格执行。
牛的消化系统疾病是养牛业发展过程中一种极其普遍发生的疾病,通常这种病的发病率极高,假如没有对其采取有效的措施来进行诊疗和预防,必然会导致养殖场,畜牧养殖户的经济效益收入受到相对应的影响。本文对此进行分析,探讨牛常见消化系统疾病的有效诊疗措施,预防接种希望能够为畜牧主的养殖效果提高做出相应的保障,推动畜牧养殖业的稳定高效正常发展。
近年来,随着无人机技术的发展,无人机的应用范围越来越广泛,现已广泛应用于航拍、信息采集等领域。在无线通信领域,无人机也被视为未来无线通信网络中的一个重要承载形式。得益于其体积小、灵活性高等特点,搭载基站的无人机在一些特殊场景中被看作是有效解决通信问题的途径,例如灾后的通信恢复、短时大规模集会应急通信等。为了充分利用无人机的机动性特点,无人机的静态部署位置以及其动态轨迹优化是一个重要的研究内容。围绕
随着人民生活水平的不断提高,畜牧业在农业生产中所占的比值越来越重,兽医队伍的作用也越来越大。然而在畜牧业发展不断壮大、效益渐好的今天,由于畜禽流通的快速发展,畜禽疫病仍在零星暴发,严重影响并制约了农村养殖业的经济效益。因此,为保障我国畜牧业稳步快速发展,完善和健全基层畜牧兽医队伍显得尤为迫切和必要。
近年来,我国大力提倡环境保护,造林绿化工程项目越来越受到重视,要想提升造林绿化的效果,就必须要重视林业工程技术的应用,在结合实际工程项目的基础上,来不断优化林业工程技术的应用措施。同时,对于相关的林业技术要点内容一定要掌握清楚,确保造林绿化工作能够顺利、高效的开展,为造林绿化保驾护航。本文分析了造林绿化中林业工程技术应用的原则和内容。
随着我国当前园林行业的不断发展,在实际工作中要加强对现代化树木栽植技术的全面了解及认识,同时还需要做好病虫害的防治,了解常见的病虫害及发生的规律,根据实际发展要求,选择正确的防治方案,考虑技术和成本方面的投入要素,从而使得病虫害防治效果和水平能够得到全面提高,以此来促进我国园林行业的不断进步。
视频能够直观地给用户提供丰富的信息,用户也对视频相关的应用和服务有着极大的需求。但由于原始视频是由一帧一帧图片组成的,巨大的数据量给视频的存储和传输都带来了巨大的困难,因此原始视频需要经过压缩编码之后才能够投入使用。由于编码器与解码器的严格对应关系,视频压缩编码标准提供了统一的码流格式和相应的技术规范,这也使得视频编码标准成为了视频行业发展的基础。而视频分辨率的提高以及直播等新兴视频应用的出现也给
森林既是一个独立系统,也是生态系统的组成部分,在维持生态平衡方面具有重要价值。如果森林生态平衡遭到破坏,将会带来严重的后果。本文从森林生态系统的作用出发,分析了森林生态平衡遭受破坏的原因,介绍了森林病虫害常用的防治技术,并指出当前防治工作存在的问题和优化措施,为森林系统的保护管理提供新思路。
造林整地和植树造林能够有效改善空气、水质,促进物种的多样性和当地的林业发展,有助于当地经济和环境的同步发展。造林整地的目的是为了提高土地质量,为后期的植树造林奠定基础,在造林整地和植树造林过程中,对专业技术有着较高的要求,必须结合当地的土地质量、气候状况和劳动力等特点制定出针对性的整地和造林方案,只有这样才能使整体工程达到预期目标。下面笔者就对这两项技术进行详细论述。