云计算的缓存干扰显著降低了各承载应用的运行效率,增加了系统的响应时延和服务成本。传统的缓存分配策略常基于统计分析的结果,优化应用的未命中率和每周期指令数等即时性能,在应用数据读写次数等运行状态变化时,未能优化应用的长期运行效率。因此,本文针对云计算中应用间的缓存干扰问题,研究基于强化学习的多应用动态缓存分配技术,均衡提高缓存利用率和各应用的运行效率,改善云计算的服务质量和用户体验。首先,论文提出了基于深度强化学习的云计算动态缓存分配策略,针对完全隔离与部分重叠两种缓存分配模式的特点与适用性,分别采用基于值和Actor-Critic结构的强化学习算法,选择缓存分配方案,不需预知应用运行特征即可动态优化各应用的未命中率等性能,并通过实验验证分配效果。例如,在5个应用竞争12路缓存的云计算实验场景中,在完全隔离模式下,采用所提分配策略的系统中,相对于对比算法,应用的平均未命中率降低了 13.2%,平均每周期指令数提高了 14.2%。在部分重叠模式下,采用所提分配策略的系统中,应用的平均未命中率进一步降低了 5.3%,平均每周期指令数进一步提高了 10.4%。为提高缓存分配的稳定性,论文提出基于安全强化学习的动态缓存分配策略,设计基于动态均值和标准差的自适应稳定性衡量方法,解决探索过程与优化目标中的缺陷,减少对危险状态和动作的探索,提高应用的稳定性和分配进程的训练速度。同样5个应用竞争12路缓存的云计算实验结果表明,在消耗更多的计算资源和决策时间的条件下,所提策略相对于基于深度强化学习的缓存分配策略在部分重叠模式下将应用的每周期指令数标准差降低了 75.9%,在完全隔离模式下将该标准差降低了 90.6%。