基于深度强化学习的无线网络分布式信道竞争算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:zmeng1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着第五代移动通信技术(5G)的规模化商用以及第六代移动通信技术(6G)的投入研发,物联网进入了飞速发展的阶段,智能终端的数量呈现出一种爆炸性增长的趋势,依赖于集中式基础设施的集中式网络在联入终端数量暴涨的情况下难以保证终端间的协同通信,而且在某些地处偏僻,设置基站成本较大的地方,这种集中式网络也并不适用。自组织网络作为一种自治的分布式网络,可以在不借助集中式设施的情况下提供终端间的相互通信,有利于缓解集中式网络的压力。对于自组织网络中的信道竞争问题,传统算法往往基于随机算法来实现,在信道使用率上表现一般。本文研究了基于深度强化学习的无线网络分布式信道竞争问题,提出了两种分布式信道竞争算法。首先,本文提出了一种基于深度强化学习的领导人选举算法。基于领导人选举的思想,将原来的分布式信道竞争问题转化成了多轮的领导人选举问题。本文通过对领导人选举问题建模,将此问题转化为马尔可夫决策过程,而且令每个参与信道竞争的网络接入点都作为智能体来运行强化学习算法,各自学习独属于自身的策略。仿真实验证明,所提出的算法可以较快地选举出领导者,并且保证了较高的信道使用率以及为0的错选率。其次,由于基于多轮领导人选举的信道竞争算法不能保证各网络接入点在较短时间维度内的公平性,本文提出了一种基于深度强化学习的分布式信道竞争算法。本文对分布式信道竞争问题直接进行强化学习建模,各网络接入点仍然都作为智能体来运行强化学习算法,在每一轮训练过程中各智能体可能会获得不同的奖励值,最终各网络接入点会根据自身的信道占用率以及信道状态自适应地调整自己竞争信道的概率,来实现较好的分布式信道竞争。仿真结果表明,本文的算法在信道使用率上高于传统的随机算法,并且还具有较高的公平性。
其他文献
集合数据是一种应用广泛的数据类型,集合关系可视化将不同集合及其内在元素之间的关系直观地展现出来,为高效传达集合数据提供了许多可能,被广泛应用在地理空间数据分析、社交网络分析、信息图和新闻报道等领域。一个优秀的集合关系可视化作品应该具有准确性和美观性,即准确描述所展示的数据,保证可视化结果的可靠性;同时具有较少的视觉混乱,更加自然且符合人类直觉,提高可视化结果的视觉吸引力和信息传达的效率。韦恩图和欧
学位
目的:观察化瘀消痛汤联合小针刀治疗腰椎间盘突出症(LDH)的临床效果。方法:80例按随机数字表法分为两组各40例。两组均予以小针刀治疗,观察组加用化瘀消痛汤治疗。结果:观察组总有效率高于对照组(P<0.05),观察组治疗后下肢疼痛与麻木、腰腿疼痛不适、工作生活能力及下肢行走能力评分低于对照组(P<0.05),观察组治疗后JOA评分高于对照组而ODI评分低于对照组(P<0.05),观察组治疗后超敏C
期刊
药品是一种不可或缺的公共产品,关涉到全社会乃至全人类的健康状况,新药研发过程复杂、周期长、高度依赖专利保护。基于药品在公共健康领域的重要性以及其研发过程的特殊性,我国高度重视药品专利制度的完善,申请日后补充实验数据是其中一个亟需完善并细化的问题。允许申请日后补充实验数据符合药品专利自身特点,但是会在一定程度上冲击专利的先申请原则和“以公开换保护”原则,本文着重讨论我国申请日后补充实验数据的审查标准
学位
作为自然语言处理中的一个非常重要的研究方向,机器阅读理解及问答技术在现实场景中具有极其广阔的应用,包括且不限于推荐系统、搜索引擎,以及对话机器人等。早期的方法主要依靠TF-IDF和BM25等传统信息检索技术,仅能从文档中找到相关的片段,无法做出准确的回答。随着深度学习技术的迅速发展,使用大量标注数据进行训练的,基于神经网络的方法在一系列基准测试上取得了优秀的成绩。然而,在现实场景中,数据标注通常需
学位
良好的法治包括优秀的法律本体和良好的法律运行,在当前社会主义法治体系基本形成、法律制度日趋完善的背景下,对建设良好法治的研究更需要关注法律的实际运行,而律师的辩护无疑是法律运行的一部分,也是刑事诉讼中的重要环节,但从当前的实务中来看,许多律师刑事案件处理不当,不仅侵害了被追诉人的合法权益,也加剧了自身的执业风险。辩护工作需要辩护策略的指引,辩护策略的正当性,能够为后续的辩护方式、辩护工作进行方向指
学位
我国侵权责任法历史上对医疗损害过错的规定进行了两次重大变化。2002年《最高人民法院关于民事诉讼证据的若干规定》颁行之前,对于医疗损害过错的举证,应当遵循“谁主张谁举证”的原则,由患者对医疗机构存在过错承担举证责任。《民诉证据规定》将不存在医疗损害过错规定为医疗机构方的举证责任。2010年《侵权责任法》实施后我国的医疗损害过错归责原则又变更为过错责任原则,由患方证明医疗机构存在过错,只有在第58条
学位
证券举报人制度是指掌握有关证券违法行为信息的人将该信息向监管执法机关报告,并在执法成功后获得罚款等执法收益的制度。纵观全球,美国相继出台的以《多德—弗兰克法案》为主的有关证券举报法律取得良好成效;截止2014年在经合组织统计的32个国家中已有13个国家以专门立法的形式确立证券领域的举报人制度,包括美国、英国、澳大利亚、日本、韩国。该制度已然成为成熟资本市场打击证券违法违规行为的重要机制之一,以引导
学位
首次代币发行作为区块链技术在金融领域的衍生品,因结合区块链及金融于一体、顺应于虚拟经济环境之中开始备受关注,加上其具有的广泛便捷、公开透明等特点也逐渐成为新型高新技术企业实施融资的新选择。然而,技术的安全问题以及无相关配套监管的灰色现状,使得该行为技术与金融风险格外突显,甚至被利用为违法犯罪工具。与域外国家对于首次代币发行行为所采取的或积极拥抱或规制引导的态度不同,我国在2017年以部门规章的方式
学位
第二次世界大战以后,“和平与发展”时代主题的确立,为世界开启全面性、创新性和深刻性的发展演变准备了必要条件,文化等软实力的较量在国际舞台上的作用日益凸显。文化外交作为国家总体外交的重要组成部分,在国家建设和世界进步等领域享有举足轻重的地位。改革开放以来,中国共产党领导中国人民开创性地进行“具有中国特色社会主义”建设的时代命题,由此,“中国特色社会主义”作为一项伟大事业,在世界发展与中国进步的浪潮中
学位
我国在1979年以前立法权限主要集中于中央,而此后地方立法权限不断下放,形成了较完备的地方立法体系。但在地方立法繁荣之时,其却存在着司法适用率很低的问题,法官对地方性法规的司法适用也缺乏主动性,难以发挥地方立法社会治理的司法效果。司法适用地方立法有其现实必要性,因为国家立法的原则性规定指导地方具体实践有一定局限性,而地方立法的“地方性”更能满足地方治理的需要,地方立法可以为司法适用提供有效指引;此
学位