基于深度强化学习的数据中心内容分发

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:mooreman009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网、工业4.0、智慧城市等的完善,大量的感知设备产生了日益增长的大数据。从这些大数据中攫取出热点内容并通过内容数据中心网络(Content-centric Data Center Networks:CCDCNs)分发给用户,就为大数据服务提供了网络体验质量(Quality-of-Experience:Qo E)。因此,当前网络面临的一个难题是增强内容分发下的Qo E。本文为了解决这个难题,首先提出了一个大数据架构,基于这个架构提出的大数据分析算法得到热点内容;接着将热点内容缓存到网络中;最后将缓存的热点内容调度给用户。本文的主要贡献概括如下:(1)为了增强CCDCNs的QoE,本文首先引入了大数据架构。该架构包含三层:数据存储层存储由传感器搜集来的各种各样的数据;数据处理层过滤、分析、处理存储层中的数据以获取热点内容;数据应用层将处理层中的热点内容进行分类以备使用。接着,在大数据架构中构造了一个高维-快速卷积神经网络(Tensor-Fast Convolutional Neural Network:TFCNN)算法。该算法是在CNN的基础上引入了T模型以及SVD模型,T模型是将原先的向量模型延伸到更高维,能够让CNN训练出更多热点内容;SVD模型加速了CNN的训练速度。TF-CNN能够平衡热点内容的量以及CNN的训练速度。(2)此外,急剧增加的热点内容给CCDCNs带来挑战。本文使用强化学习(Reinforcement Learning:RL)去智能化的缓存热点内容,得到了Q值;由于状态空间和动作空间都很大,因此在深度神经网络(Deep Neural Network:DNN)近似器中引入了固定目标网络(Fixed Target Network:F)、经验回放(Experience Replay Buffer:E)来估计最大Qo E约束下的Q值。然而,训练改进的DNN模型会导致RL不稳定。针对这一问题,本文在RL中引入了自适应学习率(Adaptive learning rate:L)。基于上述DNN以及RL的改进来构建的FELDRL算法能够平衡Q值准确性及加速RL稳定性。(3)最后,为了满足用户对热点内容日益增长的需求,本文在CCDCNs中构造出三个缓存调度的算法。首先提出了一个近似动态的算法,该算法复杂度高;接着基于节点中心化的特点,提出了一个改进的近似动态的调度算法。虽然该算法包含了缓存内容的调度以及内容传输速率的调度,但是在处理调度时复杂度低。然后基于深度强化学习(Deep Reinforcement Learning:DRL),提出了一个缓存调度的算法。虽然该算法复杂度高,但调度的精度也高。实验证明了本文所提出的架构以及方法能够得到更满意的Qo E。
其他文献
介绍了PLC控制的交流双速电梯控制系统的构成,阐述了系统的基本功能及PLC选型与编程的一些实用方法.
近年来,随着移动通信技术的发展,分布计算技术不断向移动网络环境延伸,移动计算技术成为研究的热点。本文从研究层次、应用类型和关键问题等方面,对移动分布计算技术的相关研
随着人工智能的发展,计算机辅助诊断在阿尔茨海默病诊断中扮演着越来越重要的角色.本文提出了一种融合图像和指标的新型多分类诊断模型,充分挖掘TOP-MRI图像和临床指标特征用
老年性痴呆是伴随着人类衰老而出现的常见病、多发病。其中阿尔茨海默病(Alzheimer disease,AD)和血管性痴呆(vascular dementia.VD)是两大主要类型。随着世界人口的老龄化,痴呆在老
【目的】探讨国际著名医学期刊JAMA《美国医学会杂志》、NEJM《新英格兰医学杂志》、The Lancet《柳叶刀》和BMJ《英国医学杂志》(简称四大医学周刊)的栏目设置及内容特色。
通过盆栽试验并结合原子分光光度法和高效液相色谱法,研究了土壤Cu浓度对蓖麻根系有机酸分泌及Cu吸收的影响。结果表明,蓖麻对Cu表现出较强的转运、富集能力,根部是积累Cu的
<正>研究目的:基于对大学生体质自评水平和认知程度的深入分析,探讨健康危险行为对大学生体质自评水平的影响。研究大学生体质自评状况与自我健康维护、健康支持环境之间的关
会议
本文利用WRF模式对2007年7月8日至12日的东北冷涡过程进行模拟。通过分析天气尺度背景场可知,在对流层中高层出现干侵入过程,干空气主要来源于我国内蒙古西部和东北冷涡的西北
总结造血干细胞移植病人的用药护理,包括制作服药提示卡和常用药物手册、加强对病人用药知识的健康教育、制作药物不良反应观察表等。