论文部分内容阅读
随着移动通信技术的发展及用户对业务的需求种类和服务质量(QoS:Quality of Service)需求的不断增加,下一代无线网络的主要目的之一是随时随地为移动用户提供多种宽带业务,包括语音、VoIP、视频、音频等。这些不同种类的业务具有不同的QoS需求,其中切换呼叫中断率和新呼叫阻塞率是衡量无线通信网络性能的两个重要的呼叫级QoS指标。由于无线通信网络带宽资源的匮乏、无线信道的衰落及用户的移动性等,需要有效的无线资源管理(RRM:Radio Resource Management)方案来合理利用有限的无线资源并保证不同种类业务的QoS。作为无线资源管理的一个重要组成部分,呼叫准入控制(CAC:Call Admission Control)可以减少网络拥塞和保障现有用户和即将到达的用户的QoS需求,成为近几年研究的热点问题之一。
在承载多种不同种类业务的网络中,不同种类业务的呼叫的接纳会给系统带来不同的报酬,例如有的呼叫可能为系统带来更高的报酬。在这样的多业务网络环境中,CAC可以选择性地拒绝报酬低的呼叫而接纳报酬高的呼叫,从而提高运营商的收益。这样CAC就变成一个何时接纳或拒绝呼叫请求的策略,网络必须找到一个既能最大化收益又能满足QoS需求的CAC策略。
本文在总结前人研究成果的基础上,从最大化运营商的收益的基础上尽可能降低切换呼叫中断率角度出发,利用半马尔科夫决策过程(SMDP:Semi-Markov decision process)对无线网络中的CAC问题建模,并利用强化学习(RL:Reinforcement Learning)方法来求解SMDP。为了在CAC问题中利用RL方法,同时也为了在保持高收益的同时降低切换呼叫中断率,本文为各类业务的新呼叫和切换呼叫建立了不同的报酬函数。所提出的报酬函数不仅取决于已用的带宽、新呼叫到达率、平均服务时间和价格,还取决于新呼叫负载所占的负载比重和呼叫需求带宽。通过使用该报酬函数,此CAC策略以增加收益低的业务的新呼叫阻塞率为代价来换取更高的收益和较低的切换呼叫中断率。仿真结果表明,当业务负载较重时,此策略在保持高收益的同时也大大降低了切换呼叫中断率。