论文部分内容阅读
为提升企业的4G服务质量，并将净推荐值（NPS）测评体系嵌入4G服务管理战略中，本文围绕4G-NPS预测模型构建4G用户净推荐值管理支撑体系，形成了从NPS预测、到NPS变化原因诊断、到用户服务体验优化的双闭环服务管理流程，并固化于品管系统中，最终有效提高了企业的4G服务管控水平。
一、业务背景
在日趋激烈的4G市场竞争环境下，各大运营商提供的4G产品和功能亦逐渐趋于同质化，使得消费者对4G的感知已从简单的产品好坏开始转变成服务的好坏，而用户服务的好坏将很大程度上决定了消费者购买忠诚度的高低，这对4G服务管理工作提出了新的要求和挑战。为此，公司引入净推荐值（NPS）测评体系，嵌入到用户导向的4G服务管理战略中，通过NPS打分反映4G服务在用户内心的认可程度和推荐意愿，从而引导服务管理方向。
传统的NPS管理都是仅从调研数据着手进行评估、分析与维系，这种管理方式覆盖用户面小、调研成本高、时间相对滞后，同时鉴于问卷长度等因素，也无法定位到更深层的业务问题。
鉴于传统管理方式的局限性，本文引入大数据的分析挖掘方法，不只是从调研用户的信息进行分析，而是针对本地全网4G用户进行分析，并创新性设计实施了半监督回归的建模方案，克服了小样本建模的不稳定性，完成了“个人用户4G净推荐值打分预测模型”，最后以此为基础建立了一整套以数据为驱动的4G用户净推荐值管理闭环体系，助力公司的4G用户服务管理工作。
二、4G用户净推荐值管理支撑系统介绍
（一）整体框架介绍
围绕4G-NPS预测模型构建4G用户净推荐值管理支撑体系，形成了从NPS预测、到NPS变化原因诊断、到用户服务体验优化的双闭环服务管理流程。基于该体系，在4G服务上实现了闭环管理，推动服务问题的有效解决，进一步提升了企业的服务管理能力，加强用户的4G服务体验。
整个双闭环服务管理体系包括针对总体NPS闭环模块和针对个人NPS闭环模块，提供了整体4G-NPS的趋势预测，重要指标的监控与原因分析，个人用户4G-NPS预测打分的监控与下载， 4G-NPS现阶段重要用户群的定位、监控与下载等功能，具体系统架构以及功能架构如图1：
（二）总体4G-NPS闭环模块介绍
1. 4G-NPS趋势预测应用模块
使用者可以通过趋势预测模块监控4G-NPS用户下月的整体NPS表现值，如果处于预警值，则会引发告警。使用者还可以通过影响因子下钻模块进一步分析NPS变化甚至预警的原因，从而支撑管理人员实施针对性的改善措施。此外，该模块还提供全网及调研用户的4G-NPS总分、历史趋势展示等功能。
2.影响因子下钻模块
使用者通过影响因子下钻模块可以从告警指标出发，通过影响因子下钻功能，对告警原因进行深入分析，定位指标异常原因，反馈给策略部门跟进。
3.策略部门跟进
面向各策略部门，包括产品、价格、宣传、服务、营销、网络等部门，当平台对监控指标（影响因子）触发预警时，策略部门将收到告警信息，并做进一步的分析验证，探究相关策略不合理之处，并采取优化行动。
（三）个人用户4G-NPS闭环模块介绍
1.个人用户4G-NPS预测模块
在总体监控流程完成后，使用者还可以对个人用户的情况进行监控。监控4G用户净推荐值打分的现状及变化趋势，定位打分分布变化的原因，提供用户清单下载。
2.细分用户群应用
在监控用户整体的4G-NPS打分分布情况后，可进一步根据营销需要定制细分用户群体，供使用者监控人群的NPS变化，并提供号码清单下载。
3.营销/服务部门跟进
应用平台面向各营销和服务部门，当用户打分分布触发预警时，服务部门将收到告警信息，并可对相应用户对进一步分析验证。业务人员也可自行对相应打分的用户进行提取，并针对业务场景选择相应的细分用户群进行维系或营销。
4.个人用户闭环模块对总体闭环模块的影响
通过个人用户4G-NPS的维系和营销，提高用户对4G的感知水平，从而提升个人用户的打分。通过个人用户的打分影响总体4G-NPS的打分，达到个人用户闭环模块对总体闭环模块的正向影響，助力4G-NPS的提升。
（四）核心技术方案（4G净推荐值预测模型）
1.预测方案介绍
本文选择参与过NPS调研的企业用户数据作为初始的训练样本集。采用数据挖掘方法，分析对这些用户NPS评价水平产生影响的重要业务变量，并进一步提炼其中存在的数量关系，作为衡量全网用户NPS评价水平的判断依据。模型充分利用了企业大数据，引入了包括用户的基本信息、网络行为、日志信息、基站交互信息、产品订购信息、业务消费信息、触点信息等多种历史数据。这些数据经过探索、筛选后，参与模型计算。
在该模型构建的过程中，主要存在两项技术挑战：一是模型训练集样本数量较少，并且其中包含的信息量严重不足。二是业内尚缺少解决用户主观评价预测的合适方案。为解决上述问题，本文经研究决定引入半监督的学习算法进行分析建模。该算法引入主成分分析及信息增益的方法，结合神经网络算法进行回归训练，最终建立预测模型，成功解决了前述问题，取得良好效果。
2.技术方案具体内容
模型使用大数据开源工具R进行开发，因其丰富的算法资源，可有效降低模型的开发周期。模型输出可通过SQL代码直接固化与数据库，使其部署更加方便快捷。
半监督学习是介于有监督学习和无监督学习之间的学习方式，其模型训练样本既包括已标记样本（调研用户样本）也包括未标记样本（未调研样本）。既可以利用大量容易获得的未标记样本，从而弥补训练集样本不足问题，又可以利用已标记样本获得更高效的学习模型。 技术方案的流程包括了：指标设计、数据探索、主成分分析、信息增益法筛选指标及神经网络回归预测模型，最后会进行模型评估。其中，核心算法为主成分分析算法、信息增益法及BP神经网络算法，具体如图2：
（1）指标设计：通过4G用户感知分析，共设计并开发数据指标近150个。
（2）数据处理：通过主成分分析、信息增益等手段，对建模数据进行预处理。通过主成分分析进行对变量进行降维，减弱指标间的共线性，并更好的提取指标特征，再通过信息增益进行主成分的筛选，确定对建模有意义的成分用于输入模型。
（4）模型迭代优化：将结果置信度最高的未标记样本和预测结果加入训练集，再次训练模型直到符合效果要求。为了能够通过SVR方法选出合适的候选样本，需要对样本标记置信度进行评估，找到置信度最高的样本，但是回归问题的类别标签是连续型数字值，因此很难找到这样的估计概率。故此处借鉴COREG算法中的评估机制：置信度最高的样本是指把样本加入标记样本集中使标记样本的预测值与实际实值标签值最一致的样本。
（5）模型评估：效果评估主要目的是评估模型的预测效果，把模型的预测结果与实际的调研结果进行对比。具体是通过计算命中率、覆盖率及提升度来进行的。其中，命中率为命中批评者的样本数除以总的样本量，覆盖率指累积命中数除以总的命中数，提升度（Lift值）为覆盖率除以样本占比。
3.模型效果
从图3中可以看出，预测得分最低的10%的用户中，模型命中的批评者用户的概率为69.44%，比平均批评者概率高了近42%，比单一信息增益法高了三十个百分点，模型对4G-NPS的预测能力比传统方法有大幅提升。
三、平台应用效果
通过部署以该模型为核心的管理规范及相关支持系统，公司在用户忠诚度管理的效果上实现了较为明显的提升，具体表现在：
（一）用户忠诚度提升
根据集团测评数据，公司当年用户NPS得分15.15分，较上一年的9.36分提高了5.79分，排名也实现了提升。
（二）有效的落实并改善了部分业务短板问题
以模型实际运行情况为例：模型反映出总体NPS呈现下降趋势，通过影响因子下钻模块发现，关键影响因子“4G流量占比”指标告警，进一步借助“用户群下钻模块”抽取受影响的用户群体，分析发现，主要是部分区县公司的用戶4G流量分流比出现异常波动，平台将该信息及时反馈给相应区县公司，区县公司通过专项分析发现，主要是部分4G基站异常，当4G用户在问题基站出现时，就会自动切换至2G、3G模式，从而影响4G流量分流比。区县公司网络部得到确切问题基站信息后，及时进行了网络优化，恢复了4G网络。次月跟踪时平台监测该项指标恢复正常。
四、总结与展望
该体系围绕4G-NPS模型实现了以数据驱动服务管理的闭环流程，支撑业务人员实现4G服务的全流程灵活管控。其中4G-NPS模型直接针对服务管理中重要的结果型指标，较好的实现了对用户NPS得分的预测，模型中采用的半监督回归的建模方案，使预测准确度大幅提高，比单一算法的命中率提升了近三十个百分点。该模型的推广意义不仅在于提升了企业调研的效率，更加重要的是该模型建立起了业务管理指标与用户NPS评价水平之间的量化关系，揭示出企业为了提升用户评价水平，真正应该着手改进的业务问题，这就为企业真正提升用户NPS评价找到了方向。
一、业务背景
在日趋激烈的4G市场竞争环境下，各大运营商提供的4G产品和功能亦逐渐趋于同质化，使得消费者对4G的感知已从简单的产品好坏开始转变成服务的好坏，而用户服务的好坏将很大程度上决定了消费者购买忠诚度的高低，这对4G服务管理工作提出了新的要求和挑战。为此，公司引入净推荐值（NPS）测评体系，嵌入到用户导向的4G服务管理战略中，通过NPS打分反映4G服务在用户内心的认可程度和推荐意愿，从而引导服务管理方向。
传统的NPS管理都是仅从调研数据着手进行评估、分析与维系，这种管理方式覆盖用户面小、调研成本高、时间相对滞后，同时鉴于问卷长度等因素，也无法定位到更深层的业务问题。
鉴于传统管理方式的局限性，本文引入大数据的分析挖掘方法，不只是从调研用户的信息进行分析，而是针对本地全网4G用户进行分析，并创新性设计实施了半监督回归的建模方案，克服了小样本建模的不稳定性，完成了“个人用户4G净推荐值打分预测模型”，最后以此为基础建立了一整套以数据为驱动的4G用户净推荐值管理闭环体系，助力公司的4G用户服务管理工作。
二、4G用户净推荐值管理支撑系统介绍
（一）整体框架介绍
围绕4G-NPS预测模型构建4G用户净推荐值管理支撑体系，形成了从NPS预测、到NPS变化原因诊断、到用户服务体验优化的双闭环服务管理流程。基于该体系，在4G服务上实现了闭环管理，推动服务问题的有效解决，进一步提升了企业的服务管理能力，加强用户的4G服务体验。
整个双闭环服务管理体系包括针对总体NPS闭环模块和针对个人NPS闭环模块，提供了整体4G-NPS的趋势预测，重要指标的监控与原因分析，个人用户4G-NPS预测打分的监控与下载， 4G-NPS现阶段重要用户群的定位、监控与下载等功能，具体系统架构以及功能架构如图1：
（二）总体4G-NPS闭环模块介绍
1. 4G-NPS趋势预测应用模块
使用者可以通过趋势预测模块监控4G-NPS用户下月的整体NPS表现值，如果处于预警值，则会引发告警。使用者还可以通过影响因子下钻模块进一步分析NPS变化甚至预警的原因，从而支撑管理人员实施针对性的改善措施。此外，该模块还提供全网及调研用户的4G-NPS总分、历史趋势展示等功能。
2.影响因子下钻模块
使用者通过影响因子下钻模块可以从告警指标出发，通过影响因子下钻功能，对告警原因进行深入分析，定位指标异常原因，反馈给策略部门跟进。
3.策略部门跟进
面向各策略部门，包括产品、价格、宣传、服务、营销、网络等部门，当平台对监控指标（影响因子）触发预警时，策略部门将收到告警信息，并做进一步的分析验证，探究相关策略不合理之处，并采取优化行动。
（三）个人用户4G-NPS闭环模块介绍
1.个人用户4G-NPS预测模块
在总体监控流程完成后，使用者还可以对个人用户的情况进行监控。监控4G用户净推荐值打分的现状及变化趋势，定位打分分布变化的原因，提供用户清单下载。
2.细分用户群应用
在监控用户整体的4G-NPS打分分布情况后，可进一步根据营销需要定制细分用户群体，供使用者监控人群的NPS变化，并提供号码清单下载。
3.营销/服务部门跟进
应用平台面向各营销和服务部门，当用户打分分布触发预警时，服务部门将收到告警信息，并可对相应用户对进一步分析验证。业务人员也可自行对相应打分的用户进行提取，并针对业务场景选择相应的细分用户群进行维系或营销。
4.个人用户闭环模块对总体闭环模块的影响
通过个人用户4G-NPS的维系和营销，提高用户对4G的感知水平，从而提升个人用户的打分。通过个人用户的打分影响总体4G-NPS的打分，达到个人用户闭环模块对总体闭环模块的正向影響，助力4G-NPS的提升。
（四）核心技术方案（4G净推荐值预测模型）
1.预测方案介绍
本文选择参与过NPS调研的企业用户数据作为初始的训练样本集。采用数据挖掘方法，分析对这些用户NPS评价水平产生影响的重要业务变量，并进一步提炼其中存在的数量关系，作为衡量全网用户NPS评价水平的判断依据。模型充分利用了企业大数据，引入了包括用户的基本信息、网络行为、日志信息、基站交互信息、产品订购信息、业务消费信息、触点信息等多种历史数据。这些数据经过探索、筛选后，参与模型计算。
在该模型构建的过程中，主要存在两项技术挑战：一是模型训练集样本数量较少，并且其中包含的信息量严重不足。二是业内尚缺少解决用户主观评价预测的合适方案。为解决上述问题，本文经研究决定引入半监督的学习算法进行分析建模。该算法引入主成分分析及信息增益的方法，结合神经网络算法进行回归训练，最终建立预测模型，成功解决了前述问题，取得良好效果。
2.技术方案具体内容
模型使用大数据开源工具R进行开发，因其丰富的算法资源，可有效降低模型的开发周期。模型输出可通过SQL代码直接固化与数据库，使其部署更加方便快捷。
半监督学习是介于有监督学习和无监督学习之间的学习方式，其模型训练样本既包括已标记样本（调研用户样本）也包括未标记样本（未调研样本）。既可以利用大量容易获得的未标记样本，从而弥补训练集样本不足问题，又可以利用已标记样本获得更高效的学习模型。 技术方案的流程包括了：指标设计、数据探索、主成分分析、信息增益法筛选指标及神经网络回归预测模型，最后会进行模型评估。其中，核心算法为主成分分析算法、信息增益法及BP神经网络算法，具体如图2：
（1）指标设计：通过4G用户感知分析，共设计并开发数据指标近150个。
（2）数据处理：通过主成分分析、信息增益等手段，对建模数据进行预处理。通过主成分分析进行对变量进行降维，减弱指标间的共线性，并更好的提取指标特征，再通过信息增益进行主成分的筛选，确定对建模有意义的成分用于输入模型。
（4）模型迭代优化：将结果置信度最高的未标记样本和预测结果加入训练集，再次训练模型直到符合效果要求。为了能够通过SVR方法选出合适的候选样本，需要对样本标记置信度进行评估，找到置信度最高的样本，但是回归问题的类别标签是连续型数字值，因此很难找到这样的估计概率。故此处借鉴COREG算法中的评估机制：置信度最高的样本是指把样本加入标记样本集中使标记样本的预测值与实际实值标签值最一致的样本。
（5）模型评估：效果评估主要目的是评估模型的预测效果，把模型的预测结果与实际的调研结果进行对比。具体是通过计算命中率、覆盖率及提升度来进行的。其中，命中率为命中批评者的样本数除以总的样本量，覆盖率指累积命中数除以总的命中数，提升度（Lift值）为覆盖率除以样本占比。
3.模型效果
从图3中可以看出，预测得分最低的10%的用户中，模型命中的批评者用户的概率为69.44%，比平均批评者概率高了近42%，比单一信息增益法高了三十个百分点，模型对4G-NPS的预测能力比传统方法有大幅提升。
三、平台应用效果
通过部署以该模型为核心的管理规范及相关支持系统，公司在用户忠诚度管理的效果上实现了较为明显的提升，具体表现在：
（一）用户忠诚度提升
根据集团测评数据，公司当年用户NPS得分15.15分，较上一年的9.36分提高了5.79分，排名也实现了提升。
（二）有效的落实并改善了部分业务短板问题
以模型实际运行情况为例：模型反映出总体NPS呈现下降趋势，通过影响因子下钻模块发现，关键影响因子“4G流量占比”指标告警，进一步借助“用户群下钻模块”抽取受影响的用户群体，分析发现，主要是部分区县公司的用戶4G流量分流比出现异常波动，平台将该信息及时反馈给相应区县公司，区县公司通过专项分析发现，主要是部分4G基站异常，当4G用户在问题基站出现时，就会自动切换至2G、3G模式，从而影响4G流量分流比。区县公司网络部得到确切问题基站信息后，及时进行了网络优化，恢复了4G网络。次月跟踪时平台监测该项指标恢复正常。
四、总结与展望
该体系围绕4G-NPS模型实现了以数据驱动服务管理的闭环流程，支撑业务人员实现4G服务的全流程灵活管控。其中4G-NPS模型直接针对服务管理中重要的结果型指标，较好的实现了对用户NPS得分的预测，模型中采用的半监督回归的建模方案，使预测准确度大幅提高，比单一算法的命中率提升了近三十个百分点。该模型的推广意义不仅在于提升了企业调研的效率，更加重要的是该模型建立起了业务管理指标与用户NPS评价水平之间的量化关系，揭示出企业为了提升用户评价水平，真正应该着手改进的业务问题，这就为企业真正提升用户NPS评价找到了方向。