论文部分内容阅读
中国移动通信集团广东有限公司东莞分公司 523000
摘要：随着移动通信步入LTE（4G）时代和互联网的发展，客户对互联网的渴望使移动业务从语音向数据转移。就目前而言，评价手机上网感知的指标较少，且用户上网是主观的感受，如何建立网络运维中的指标与用户感知合理的映射尤为重要。本课题旨在建立LTE手机上网感知QoE量化指标体系，能够从无线侧、核心侧、业务侧更好更全面的反应用户的上网感知情况。
关键词：LTE手机上网；感知；QoE；体系
QoE（Quality of Experience）是通信领域的概念。它可以理解为用户体验或者用户感知，即终端用户对移动网络提供的业务性能的主观感受。QoE的评价主体是终端用户，评价对象是业务和支撑业务的网络（主要包括核心网络、无线网络和业务平台）。为了更好的更加直观的找出网络各环节对客户感知的影响，建立良好地客户感知和网络关键KPI的映射关系，我们搭建了LTE手机上网感知QoE量化指标体系。
一、建立QoE量化指标体系的基本思路
贯彻以客户为中心的服务理念，参考ETSI标准和TMF GB923标准，综合考虑无线网、核心网的关键性能指标，以及SP侧的相关指标，围绕客户感知梳理和构建涵盖主要业务关键环节的关键指标体系，探索和建立LTE手机上网感知QoE量化指标体系。
首先，当前LTE手机用户的上网投诉类可以大致划分为“没信号或有信号上不了网”、“上网速度慢”、“上网掉线”三大类。我们将手机上网投诉的点击类别与QoE量化指标体系关联，以接入性、完整性、保持性作为QoE指标量化体系的三大类别。
其次，对每一类别的QoE指标分别从无线侧、核心侧、SP侧进行关键性能指标的合理映射和分析，共选取了18个关键的网络KPI来表征QoE指标体系。
第三，由于网络KPI的取值范围不同，通过分析各指标长期的波动范围和趋势，制定基于客户感知的各KPI合理门限，并根据门限值科学的制定QoE评分机制。
第四，通过手机上网广义投诉各类原因占比划分QoE三大类别的权重占比。再通过分析评估各KPI对客户感知的影响，对三大类别的KPI集中的各指标分别进行权重分析（九分制），根据各权重值加和得出感知三大类别分别得分，然后通过三大类别的权重占比得出QoE体系评分。得分越高则客户感知越好，权重值的大小量化反应了各指标对用户感知的影响程度。
最后，根据得分情况得出客户感知的五级标准，可以直观评价用户感知情况。QoE体系五级评价如下：
二、客户感知评估优化体系的建立
根据现网常用的日常KPI，与客户感知关系密切的下载速率和下载时延进行关联分析，梳理QoE指标量化体系中的关键指标，力求选出的指标能更加好的反应客户的感知，形成基于无线侧、核心侧、SP侧的客户感知评估体系的具体指标集，如下图所示：
三、QoE指标体系中各指标的获取路径
QoE指标体系中的各指标涉及到无线指标、核心侧和SP侧的相关指标，取数路径主要集中在四个平台，各指标具体平台分布如下：
四、QoE量化指标体系的具体评估方法（各指标的权重占比、评分原则）
4.1 QoE体系三大类别的权重占比划分
确定指标体系中各类别的权重系数以及评分原则为体系建立准确性的关键。对于QoE体系三大类别的权重占比，计算方法为通过对手机上网广义投诉10月的数据进行统计，共有来自3900个客户的广义投诉，按接入性、完整性、保持性分类，各类投诉分别占比为61.85%、25.74%、12.41%。
为了对权重系数化整，我们认为QoE体系三大类别指标的权重占比如下：
4.2 QoE体系中网络关键KPI权重占比划分
各指标权重系数的划分在评分当中尤为重要，可以直接体现QoE体系的可靠性。在划分各网络关键KPI时，对接入性、完整性、保持性各指标采用了通过申请次数的数量、时延的大小、掉线或切换的次数的占比分配各指标的权重系数。
（1）接入性：根据无线侧、核心侧、SP侧共有8个关键指标，统计全网8个指标全天发生的请求次数，每个指标请求次数占比8个指标总的请求次数为该指标的权重系数。如RRC建立成功率，全天发生的请求次数占比8个指标全天发生的请求次数，即210581181/ 900759602=23.38%≈23%。同理其余7个指标分别计算权重系数。
（2）完整性：主要分为下载类与时延类，各占比权重50%。下载类主要2类大包和小包下载，各占比权重25%。时延类主要包括附着时延、TCP建立时延、DNS建立时延、GET首包时延4类，每个指标总时延占比这4个指标的总时延为该指标的权重系数。如附着时延全天总时延占比这4个指标全天总时延，即557.31/5834.11=4.78%≈5%，同理其余3个指标分别计算权重系数。
（3）保持性：根据无线侧、核心侧共有4个关键指标，根据这4个关键指标全天的失败次数，每个指标失败次数占比4个指标总的失败次数为该指标的权重系数。如无线掉线全天掉线次数占比4个指标全天掉线次数，即271677/ 1313225=20.67%≈21%，同理其余3个指标分别计算权重系数。
4.3 QoE体系中网络关键KPI评分标准
QoE指标量化体系的评分采用九分制，每个网络关键KPI指标在达到评分上限时得满9分，指标在评分下限时得分为0分，指标在上下限之间时线性得分。
（1）接入性：8个指标成功率的上下限设定主要参考了网调中心对该指标的监控门限。
（2）完整性：主要分为下载类与时延类的指标。大包下载类速率按照全网TOP80%的小区下载速率为上限，全网最差TOP10%的为下限；小包下载类时延、附着时延参照258原则定义上下门限值；TCP建立时延、DNS建立时延、GET首包时延三个指标为一个总体，根据在258原则，总的时延2秒为上限，8秒为下限。“每一项的平均时延”在“三个指标平均时延总和”占比乘以2s为上限，“每一项的平均时延”在“三个指标平均时延总和”占比乘以8为下限。如TCP建立的平均时延是44.82ms，DNS建设平均时延是23.33ms，GET首包响应平均时延146.32ms。 则TCP建立时延上限是：44.82/（44.82+23.33+146.32）*2000=416ms=0.42s
TCP建立时延上限是：44.82/（44.82+23.33+146.32）*8000=1671ms=1.67s.同理DNS建立时延，GET首包时延计算出上下限。
（3）保持性：无线侧3个指标全网小区每GB流量掉线次数。取每GB流量掉线次数最优T0P20%为上限，最差TOP10%为下限。如：无线掉线次数全网小区每GB流量掉线次数最优TOP20%在4.53次内，最差TOP10%小区大于58.3次。故上下限分别设置为4.53次和58.3次。核心侧的TAU失败次数，根据10月全网每天每GB流量掉线次数最优TOP20%为上限，最差TOP10%为下限。
用上述方法计算出每一项的得分情况，通过得分乘以权重系数算出QoE评分结果，计算公式如下：
五、QoE体系评估结果验证
5. 1 QoE体系全网级评分结果评估
为了验证QoE体系对全网以及小区级的评分准确性，10月10日至10月19日全网指标进行评估，具体得分及评估结果如下：
从全网评分结果来看，全网的客户感知整体情况良好。10月15日QoE体系得分最低，接近一般，由于保持性得分的权重占比较低，则最终评分主要受到接入性得分影响。核查原因主要受到TCP成功率和激活影响，具体原因如下：
1、10月15日凌晨GGSN201割入爱立信综合网关后，早上LAN1＼LAN2 TCP成功率下滑触发一级告警，省公司怀疑是业务量高导致的，经过割走一个GGSN恢复。
5. 2 QoE体系评分与投诉关联结果
取10月10日-10月19日LTE手机上网本地考核项投诉量情况观察，
对10月10日-10月19日的全网级QoE体系评分结果与LTE手机上网本地考核投诉量（数据来自客服提供给网调中心的数据）进行关联分析，得出相关系数为-0.82，两者呈较强负相关。
5. 3 QoE体系小区级评分结果
选取三天对LTE网小区（Gb平台中10月10、15、19日的小区）进行小区级评分，评分结果中发现，10月10日全网得分最高，而对应的感知好小区占比最大，达到了96.17%，感知差小区较少，占比为0.4%。而10月15日全网评分最低，相应的感知好小区占比只有15.32%，感知差小区却达到了38.04%。10月19日全网感知在10日与15日之间，感知好差的占比也在两者之间。小区级的评分结果与全网级结果一致，故初步认为所建立的QoE量化指标体系能够较为准确的反应客户感知的情况。（备注：小区数量多，等级评定为0.5分为一个区间）
六、QoE体系权重系数自适应调整的思考与探讨
随着手机应用种类的增多，用户的使用行为与习惯不断发生改变，映射到网络侧即为业务类型会不断发生变化。为不断的完善LTE手机上网QoE量化指标体系，我们提出了基于LTE手机上网投诉和业务类型的QoE体系权重系数自适应调整的模型，即各指标系数的动态调整过程。思路如下：
第一，KPI体系中的关键指标根据业务模型不断学习更新，寻找影响感知的关键指标，实现自适应的指标体系更新。
第二，针对体系中三大类别的权重占比可以根据每个月第一周的投诉情况进行汇总，重新分配各权重系数，作为接下来该月的QoE体系三大类权重系数。
第三，针对接入性KPI的权重，可以根据接入业务量模型实现指标权重的自适应系数，甚至实现不同网元级别的权重自适应调整。
第四，对完整性权重占比较高的大包业务下载速率和小包业务下载时延可以根据LTE网大包业务和小包业务的流量占比进行自适应调整权重系数。其他时延根据现网统计的业务平均时延经验实现自适应调整。
第五，针对保持性KPI权重，可以根据业务量模型，实现不同网元级别的权重自适应调整。
七、结论
第一，该体系的应用有效监控了网络质量的变动，准确定位出影响用户感知的目标网元及小区，降低投诉风险，提升客户满意度：
● 通过QoE体系对全网的评分结果，判断无线侧、核心侧、业务侧各指标对QoE体系评分的影响。更加准确的定位及解决对客户感知影响较大的网络环节。
● 通过对各网元/小区进行QoE体系评分，有效监控各级别网元的客户感知情况，聚焦关键质差网元/小区，通过关联派单实现优化工作具体落地，进而降低投诉，提升客户满意度。
● 该体系是全省首创，省公司评定该体系可以直观有效的用于用户感知评估，因此已经纳入全省推广，并与我们一起搭建LTE感知评估系统，实现系统化自动化。
第二，该体系是基于LTE手机上网投诉和业务类型的QoE体系权重系数自适应调整的模型，各指标系数随着用户投诉模型动态调整，有效保证了系统的准确性。
参考文献：
[1]《广东移动2015年网络一体化指标集》
摘要：随着移动通信步入LTE（4G）时代和互联网的发展，客户对互联网的渴望使移动业务从语音向数据转移。就目前而言，评价手机上网感知的指标较少，且用户上网是主观的感受，如何建立网络运维中的指标与用户感知合理的映射尤为重要。本课题旨在建立LTE手机上网感知QoE量化指标体系，能够从无线侧、核心侧、业务侧更好更全面的反应用户的上网感知情况。
关键词：LTE手机上网；感知；QoE；体系
QoE（Quality of Experience）是通信领域的概念。它可以理解为用户体验或者用户感知，即终端用户对移动网络提供的业务性能的主观感受。QoE的评价主体是终端用户，评价对象是业务和支撑业务的网络（主要包括核心网络、无线网络和业务平台）。为了更好的更加直观的找出网络各环节对客户感知的影响，建立良好地客户感知和网络关键KPI的映射关系，我们搭建了LTE手机上网感知QoE量化指标体系。
一、建立QoE量化指标体系的基本思路
贯彻以客户为中心的服务理念，参考ETSI标准和TMF GB923标准，综合考虑无线网、核心网的关键性能指标，以及SP侧的相关指标，围绕客户感知梳理和构建涵盖主要业务关键环节的关键指标体系，探索和建立LTE手机上网感知QoE量化指标体系。
首先，当前LTE手机用户的上网投诉类可以大致划分为“没信号或有信号上不了网”、“上网速度慢”、“上网掉线”三大类。我们将手机上网投诉的点击类别与QoE量化指标体系关联，以接入性、完整性、保持性作为QoE指标量化体系的三大类别。
其次，对每一类别的QoE指标分别从无线侧、核心侧、SP侧进行关键性能指标的合理映射和分析，共选取了18个关键的网络KPI来表征QoE指标体系。
第三，由于网络KPI的取值范围不同，通过分析各指标长期的波动范围和趋势，制定基于客户感知的各KPI合理门限，并根据门限值科学的制定QoE评分机制。
第四，通过手机上网广义投诉各类原因占比划分QoE三大类别的权重占比。再通过分析评估各KPI对客户感知的影响，对三大类别的KPI集中的各指标分别进行权重分析（九分制），根据各权重值加和得出感知三大类别分别得分，然后通过三大类别的权重占比得出QoE体系评分。得分越高则客户感知越好，权重值的大小量化反应了各指标对用户感知的影响程度。
最后，根据得分情况得出客户感知的五级标准，可以直观评价用户感知情况。QoE体系五级评价如下：
二、客户感知评估优化体系的建立
根据现网常用的日常KPI，与客户感知关系密切的下载速率和下载时延进行关联分析，梳理QoE指标量化体系中的关键指标，力求选出的指标能更加好的反应客户的感知，形成基于无线侧、核心侧、SP侧的客户感知评估体系的具体指标集，如下图所示：
三、QoE指标体系中各指标的获取路径
QoE指标体系中的各指标涉及到无线指标、核心侧和SP侧的相关指标，取数路径主要集中在四个平台，各指标具体平台分布如下：
四、QoE量化指标体系的具体评估方法（各指标的权重占比、评分原则）
4.1 QoE体系三大类别的权重占比划分
确定指标体系中各类别的权重系数以及评分原则为体系建立准确性的关键。对于QoE体系三大类别的权重占比，计算方法为通过对手机上网广义投诉10月的数据进行统计，共有来自3900个客户的广义投诉，按接入性、完整性、保持性分类，各类投诉分别占比为61.85%、25.74%、12.41%。
为了对权重系数化整，我们认为QoE体系三大类别指标的权重占比如下：
4.2 QoE体系中网络关键KPI权重占比划分
各指标权重系数的划分在评分当中尤为重要，可以直接体现QoE体系的可靠性。在划分各网络关键KPI时，对接入性、完整性、保持性各指标采用了通过申请次数的数量、时延的大小、掉线或切换的次数的占比分配各指标的权重系数。
（1）接入性：根据无线侧、核心侧、SP侧共有8个关键指标，统计全网8个指标全天发生的请求次数，每个指标请求次数占比8个指标总的请求次数为该指标的权重系数。如RRC建立成功率，全天发生的请求次数占比8个指标全天发生的请求次数，即210581181/ 900759602=23.38%≈23%。同理其余7个指标分别计算权重系数。
（2）完整性：主要分为下载类与时延类，各占比权重50%。下载类主要2类大包和小包下载，各占比权重25%。时延类主要包括附着时延、TCP建立时延、DNS建立时延、GET首包时延4类，每个指标总时延占比这4个指标的总时延为该指标的权重系数。如附着时延全天总时延占比这4个指标全天总时延，即557.31/5834.11=4.78%≈5%，同理其余3个指标分别计算权重系数。
（3）保持性：根据无线侧、核心侧共有4个关键指标，根据这4个关键指标全天的失败次数，每个指标失败次数占比4个指标总的失败次数为该指标的权重系数。如无线掉线全天掉线次数占比4个指标全天掉线次数，即271677/ 1313225=20.67%≈21%，同理其余3个指标分别计算权重系数。
4.3 QoE体系中网络关键KPI评分标准
QoE指标量化体系的评分采用九分制，每个网络关键KPI指标在达到评分上限时得满9分，指标在评分下限时得分为0分，指标在上下限之间时线性得分。
（1）接入性：8个指标成功率的上下限设定主要参考了网调中心对该指标的监控门限。
（2）完整性：主要分为下载类与时延类的指标。大包下载类速率按照全网TOP80%的小区下载速率为上限，全网最差TOP10%的为下限；小包下载类时延、附着时延参照258原则定义上下门限值；TCP建立时延、DNS建立时延、GET首包时延三个指标为一个总体，根据在258原则，总的时延2秒为上限，8秒为下限。“每一项的平均时延”在“三个指标平均时延总和”占比乘以2s为上限，“每一项的平均时延”在“三个指标平均时延总和”占比乘以8为下限。如TCP建立的平均时延是44.82ms，DNS建设平均时延是23.33ms，GET首包响应平均时延146.32ms。 则TCP建立时延上限是：44.82/（44.82+23.33+146.32）*2000=416ms=0.42s
TCP建立时延上限是：44.82/（44.82+23.33+146.32）*8000=1671ms=1.67s.同理DNS建立时延，GET首包时延计算出上下限。
（3）保持性：无线侧3个指标全网小区每GB流量掉线次数。取每GB流量掉线次数最优T0P20%为上限，最差TOP10%为下限。如：无线掉线次数全网小区每GB流量掉线次数最优TOP20%在4.53次内，最差TOP10%小区大于58.3次。故上下限分别设置为4.53次和58.3次。核心侧的TAU失败次数，根据10月全网每天每GB流量掉线次数最优TOP20%为上限，最差TOP10%为下限。
用上述方法计算出每一项的得分情况，通过得分乘以权重系数算出QoE评分结果，计算公式如下：
五、QoE体系评估结果验证
5. 1 QoE体系全网级评分结果评估
为了验证QoE体系对全网以及小区级的评分准确性，10月10日至10月19日全网指标进行评估，具体得分及评估结果如下：
从全网评分结果来看，全网的客户感知整体情况良好。10月15日QoE体系得分最低，接近一般，由于保持性得分的权重占比较低，则最终评分主要受到接入性得分影响。核查原因主要受到TCP成功率和激活影响，具体原因如下：
1、10月15日凌晨GGSN201割入爱立信综合网关后，早上LAN1＼LAN2 TCP成功率下滑触发一级告警，省公司怀疑是业务量高导致的，经过割走一个GGSN恢复。
5. 2 QoE体系评分与投诉关联结果
取10月10日-10月19日LTE手机上网本地考核项投诉量情况观察，
对10月10日-10月19日的全网级QoE体系评分结果与LTE手机上网本地考核投诉量（数据来自客服提供给网调中心的数据）进行关联分析，得出相关系数为-0.82，两者呈较强负相关。
5. 3 QoE体系小区级评分结果
选取三天对LTE网小区（Gb平台中10月10、15、19日的小区）进行小区级评分，评分结果中发现，10月10日全网得分最高，而对应的感知好小区占比最大，达到了96.17%，感知差小区较少，占比为0.4%。而10月15日全网评分最低，相应的感知好小区占比只有15.32%，感知差小区却达到了38.04%。10月19日全网感知在10日与15日之间，感知好差的占比也在两者之间。小区级的评分结果与全网级结果一致，故初步认为所建立的QoE量化指标体系能够较为准确的反应客户感知的情况。（备注：小区数量多，等级评定为0.5分为一个区间）
六、QoE体系权重系数自适应调整的思考与探讨
随着手机应用种类的增多，用户的使用行为与习惯不断发生改变，映射到网络侧即为业务类型会不断发生变化。为不断的完善LTE手机上网QoE量化指标体系，我们提出了基于LTE手机上网投诉和业务类型的QoE体系权重系数自适应调整的模型，即各指标系数的动态调整过程。思路如下：
第一，KPI体系中的关键指标根据业务模型不断学习更新，寻找影响感知的关键指标，实现自适应的指标体系更新。
第二，针对体系中三大类别的权重占比可以根据每个月第一周的投诉情况进行汇总，重新分配各权重系数，作为接下来该月的QoE体系三大类权重系数。
第三，针对接入性KPI的权重，可以根据接入业务量模型实现指标权重的自适应系数，甚至实现不同网元级别的权重自适应调整。
第四，对完整性权重占比较高的大包业务下载速率和小包业务下载时延可以根据LTE网大包业务和小包业务的流量占比进行自适应调整权重系数。其他时延根据现网统计的业务平均时延经验实现自适应调整。
第五，针对保持性KPI权重，可以根据业务量模型，实现不同网元级别的权重自适应调整。
七、结论
第一，该体系的应用有效监控了网络质量的变动，准确定位出影响用户感知的目标网元及小区，降低投诉风险，提升客户满意度：
● 通过QoE体系对全网的评分结果，判断无线侧、核心侧、业务侧各指标对QoE体系评分的影响。更加准确的定位及解决对客户感知影响较大的网络环节。
● 通过对各网元/小区进行QoE体系评分，有效监控各级别网元的客户感知情况，聚焦关键质差网元/小区，通过关联派单实现优化工作具体落地，进而降低投诉，提升客户满意度。
● 该体系是全省首创，省公司评定该体系可以直观有效的用于用户感知评估，因此已经纳入全省推广，并与我们一起搭建LTE感知评估系统，实现系统化自动化。
第二，该体系是基于LTE手机上网投诉和业务类型的QoE体系权重系数自适应调整的模型，各指标系数随着用户投诉模型动态调整，有效保证了系统的准确性。
参考文献：
[1]《广东移动2015年网络一体化指标集》