论文部分内容阅读
【摘要】 随着4G LTE、VoLTE、5G NSA/SA等技术的成熟和业务使用普及，为进一步丰富网络分析工具建设，提高网络运维优化、投诉分析效率，提升用户满意度。本文以VoLTE网络为例进行验证，在传统单接口XDR话单合成的基础上，研究利用Fink流式数据处理引擎提高多接口XDR合成的及时性，进一步提高信令分析速度和准确性。
【关键词】 信令分析 多接口XDR Flink VoLTE
A Multi-interface XDR Bill Synthesis Method Based on FLINK Engine
He Bin China mobile communication group hainan Limited
Abstract： With the maturity of 4G LTE， VoLTE， 5G NSA/SA and the popularization of business use， in order to enrich the construction of network analysis tools， improve network operation and complaint analysis efficiency， and improve user satisfaction. This paper takes VoLTE network as an example to verify. Based on the traditional single-interface XDR synthesis， the Fink streaming data processing engine is used to improve the timeliness of multi-interface XDR synthesis and improve the speed and accuracy of signaling analysis.
Keywords： Signaling analysis; Multi-interface XDR;Flink;VoLTE
引言：
目前，随着4/5G核心网的发展，网络优化、投诉处理主要基于以信令为基础的大数据性能分析平台。特别是在用户规模庞大、网络接口多、信令流程复杂的情况下，原始信令采集、信令详单关联合成的准确性和及时性直接关系到上层应用的可用性和可推广性。
基于此，为解决准确性问题，我们在单接口信令分析的基础上，通过IMSI，MSISDN、时间，关键字段等进行多接口关联分析[1]，形成多接口详单，将完整业务流程端到端记录，为上层应用对业务流程的分析提供准确支撑。与此同时，百万级以上的大规模用户、每个核心网元接口每小时记录数达到千万级的大吞吐量，都导致多接口详单合成时间长问题，我们在合成详单阶段引入Flink计算引擎，支持流处理和关联计算，经验证能够有效缩短详单合成的时间。及时、准确的信令详单直接提升了基于信令开展分析优化、投诉查处能力，满足大规模用户运营的需求。
一、关键技术介绍
1.1 XDR
XDR（X Data Recording）信令数据是基于全量信令数据处理生成的、供信令监测平台和信令类上层应用使用的控制面和用户面基础流程记录，以用户信令交互为单位，一个会话形成一条XDR记录，也称XDR话单。未正常完成的网络交互信令，其错误码信息将如实记录在XDR话单中，便于上层应用作为异常流程分析的基础数据。
1.2多接口合成XDR
实际4/5G业务交互过程中，一个业务（如通话/注册）流程涉及多个接口，且异常信令/错误码在信令流程传递中或因网元类型、设备厂家等不同而发生变更，导致问题定界定位准确性很差。因此，需要针对业务流程进行多接口关联，实现真正完整的业务交互呈现，有助于准确判断业务交互失败的根本原因，准确找到首拆网元、首拆时间、首拆错误码等信息。
本方案以VoLTE核心网技术为例进行验证[2]，通过Flink引擎合成多接口XDR话单，以支持上层VoLTE信令分析应用的落地。通过关联一个业务流程（注册/通话）的关键接口，形成多接口关联XDR话单，如接通流程关联Mw/ISC/Mg/S1-U等4个关键接口，注册流程关联Mw/ISC/S1-U/Sh/Cx等5个关键接口等，能够更为准确地找到初始拆线接口和首拆网元，并实现对不同首拆网元、首拆接口等多维度的VoLTE网络信令异常场景分析。
1.3 Flink流计算技术
Apache Flink是一个开源流处理框架，核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能[3]。将Flink流处理技术运用于合成多接口XDR有如下优势：
首先，同一VoLTE业务流程（通话/注册）话单记录是连续性的，而一般的批处理存在批处理时间点界限问题，导致在关联多接口XDR话单时，部分不在同一个批处理时间段的单据无法关联真正的首拆网元、首拆接口，因此合成多接口XDR需要使用流处理计算。
其次，合成XDR需要几个接口数据关联，接通场景关联4个接口，注册场景关联5个接口数据，不支持关联无法计算。
最后，在實际使用中，VoLTE网络数据量大，每个接口每小时记录数达到千万级，场景数据量大。因此，要满足多接口关联性、及时性等特性，需要结合Flink支持高吞吐、低延迟、高性能的流处理特性。
二、基于FLINK引擎的多接口XDR话单合成 基于Flink合成多接口XDR话单。作为本文的实现基础，为保证合成多接口XDR数据的准确性，采用各个网元接口物理分光的方式采集原始信令码流。通过对分光码流的解码，得到Mw/ISC/Mg/S1-U/Sh/Cx等接口的SIP（Session Initiation Protocol）和DIAMETER协议消息，如下图。
Step1：解码器对Mw/ISC/Mg/S1-U/Sh/Cx接口的分光码流进行解码，生成二进制bin文件。
Step2：为了便于数据可视化，从各解码器调取bin文件转译成CSV文件，包括消息到达该接口的消息类型、到达时间、转发时间、主叫号码、被叫号码、CALL-ID、CI、P-Charging-Vector头域等关键字段，如果是错误消息，还包括状态码、Reason、Warning值等，这些单接口的XDR数据将作为串联合成同一通话或注册流程多接口XDR的关键信息。
Step3：Kafka是消息中间件，接口话单有很多行记录，Kafka一行一行传递至Flink。
Step4：Flink按行读取并消费Kafka消息，执行合成XDR业务逻辑，串联关键字段合成同一通话或者注册流程在各个接口的消息，合成多接口XDR的CSV文件。
Step5：多接口XDR的CSV文件存入Hbase数据库。后续上层应用调用Hbase，查询得到投诉号码对应的异常业务流程多接口XDR话单。
最终，上层VoLTE信令分析应用根据主被叫号码、时间等信息，调用Hbase，查询得到投诉号码对应的异常业务流程多接口XDR话单，根据话单中多接口全流程的信令结果，匹配已部署在应用中的的异常场景规则库完成分析，并呈现出分析结果。实现从信令到分析结果的及时分析。
三、结束语
本文从信令分析的准确性、及时性需求入手，应用多接口XDR话单及Flink等关键技术实现VoLTE信令分析应用，在满足及时性的基础上，兼顾VoLTE网络端到端分析。经验证，实现多接口XDR话单关联后，能精准定位定界，准确率较单接口XDR提高80%以上。大数据量下，FLINK计算引擎的引入，使得多接口XDR话单合成所需时间实现质的飞越，从VoLTE业务结束到VoLTE信令分析应用可以查询到数据，时间从忙时几小时级缩短至15分钟级，为VoLTE信令分析等上层应用在核心网络的指标分析、故障定位、投诉处理中大有可为。
参考文献
[1]黄永，信令监测系统中XDR 话单用户信息的关联回填研究[J] ，数字通信世界. 2019，（05）：244
[2]杨红梅，胡泊，VoLTE关键技术及相关标准[J]，电信网技术，2013年02期： 57-60
[3]李梓杨，于炯，卞琛，张译天，蒲勇霖，王跃飞，鲁亮.基于流网络的Flink平台弹性资源调度策略[J];通信学报;2019年08期：85-101
何彬（1987—），性别：男，民族：汉，籍贯：海南琼海，單位：中国移动通信集团海南有限公司，职称：交换专业中级工程师，研究方向：4/5G核心网、IMS/VoLTE核心网络维护及优化。
【关键词】 信令分析 多接口XDR Flink VoLTE
A Multi-interface XDR Bill Synthesis Method Based on FLINK Engine
He Bin China mobile communication group hainan Limited
Abstract： With the maturity of 4G LTE， VoLTE， 5G NSA/SA and the popularization of business use， in order to enrich the construction of network analysis tools， improve network operation and complaint analysis efficiency， and improve user satisfaction. This paper takes VoLTE network as an example to verify. Based on the traditional single-interface XDR synthesis， the Fink streaming data processing engine is used to improve the timeliness of multi-interface XDR synthesis and improve the speed and accuracy of signaling analysis.
Keywords： Signaling analysis; Multi-interface XDR;Flink;VoLTE
引言：
目前，随着4/5G核心网的发展，网络优化、投诉处理主要基于以信令为基础的大数据性能分析平台。特别是在用户规模庞大、网络接口多、信令流程复杂的情况下，原始信令采集、信令详单关联合成的准确性和及时性直接关系到上层应用的可用性和可推广性。
基于此，为解决准确性问题，我们在单接口信令分析的基础上，通过IMSI，MSISDN、时间，关键字段等进行多接口关联分析[1]，形成多接口详单，将完整业务流程端到端记录，为上层应用对业务流程的分析提供准确支撑。与此同时，百万级以上的大规模用户、每个核心网元接口每小时记录数达到千万级的大吞吐量，都导致多接口详单合成时间长问题，我们在合成详单阶段引入Flink计算引擎，支持流处理和关联计算，经验证能够有效缩短详单合成的时间。及时、准确的信令详单直接提升了基于信令开展分析优化、投诉查处能力，满足大规模用户运营的需求。
一、关键技术介绍
1.1 XDR
XDR（X Data Recording）信令数据是基于全量信令数据处理生成的、供信令监测平台和信令类上层应用使用的控制面和用户面基础流程记录，以用户信令交互为单位，一个会话形成一条XDR记录，也称XDR话单。未正常完成的网络交互信令，其错误码信息将如实记录在XDR话单中，便于上层应用作为异常流程分析的基础数据。
1.2多接口合成XDR
实际4/5G业务交互过程中，一个业务（如通话/注册）流程涉及多个接口，且异常信令/错误码在信令流程传递中或因网元类型、设备厂家等不同而发生变更，导致问题定界定位准确性很差。因此，需要针对业务流程进行多接口关联，实现真正完整的业务交互呈现，有助于准确判断业务交互失败的根本原因，准确找到首拆网元、首拆时间、首拆错误码等信息。
本方案以VoLTE核心网技术为例进行验证[2]，通过Flink引擎合成多接口XDR话单，以支持上层VoLTE信令分析应用的落地。通过关联一个业务流程（注册/通话）的关键接口，形成多接口关联XDR话单，如接通流程关联Mw/ISC/Mg/S1-U等4个关键接口，注册流程关联Mw/ISC/S1-U/Sh/Cx等5个关键接口等，能够更为准确地找到初始拆线接口和首拆网元，并实现对不同首拆网元、首拆接口等多维度的VoLTE网络信令异常场景分析。
1.3 Flink流计算技术
Apache Flink是一个开源流处理框架，核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能[3]。将Flink流处理技术运用于合成多接口XDR有如下优势：
首先，同一VoLTE业务流程（通话/注册）话单记录是连续性的，而一般的批处理存在批处理时间点界限问题，导致在关联多接口XDR话单时，部分不在同一个批处理时间段的单据无法关联真正的首拆网元、首拆接口，因此合成多接口XDR需要使用流处理计算。
其次，合成XDR需要几个接口数据关联，接通场景关联4个接口，注册场景关联5个接口数据，不支持关联无法计算。
最后，在實际使用中，VoLTE网络数据量大，每个接口每小时记录数达到千万级，场景数据量大。因此，要满足多接口关联性、及时性等特性，需要结合Flink支持高吞吐、低延迟、高性能的流处理特性。
二、基于FLINK引擎的多接口XDR话单合成 基于Flink合成多接口XDR话单。作为本文的实现基础，为保证合成多接口XDR数据的准确性，采用各个网元接口物理分光的方式采集原始信令码流。通过对分光码流的解码，得到Mw/ISC/Mg/S1-U/Sh/Cx等接口的SIP（Session Initiation Protocol）和DIAMETER协议消息，如下图。
Step1：解码器对Mw/ISC/Mg/S1-U/Sh/Cx接口的分光码流进行解码，生成二进制bin文件。
Step2：为了便于数据可视化，从各解码器调取bin文件转译成CSV文件，包括消息到达该接口的消息类型、到达时间、转发时间、主叫号码、被叫号码、CALL-ID、CI、P-Charging-Vector头域等关键字段，如果是错误消息，还包括状态码、Reason、Warning值等，这些单接口的XDR数据将作为串联合成同一通话或注册流程多接口XDR的关键信息。
Step3：Kafka是消息中间件，接口话单有很多行记录，Kafka一行一行传递至Flink。
Step4：Flink按行读取并消费Kafka消息，执行合成XDR业务逻辑，串联关键字段合成同一通话或者注册流程在各个接口的消息，合成多接口XDR的CSV文件。
Step5：多接口XDR的CSV文件存入Hbase数据库。后续上层应用调用Hbase，查询得到投诉号码对应的异常业务流程多接口XDR话单。
最终，上层VoLTE信令分析应用根据主被叫号码、时间等信息，调用Hbase，查询得到投诉号码对应的异常业务流程多接口XDR话单，根据话单中多接口全流程的信令结果，匹配已部署在应用中的的异常场景规则库完成分析，并呈现出分析结果。实现从信令到分析结果的及时分析。
三、结束语
本文从信令分析的准确性、及时性需求入手，应用多接口XDR话单及Flink等关键技术实现VoLTE信令分析应用，在满足及时性的基础上，兼顾VoLTE网络端到端分析。经验证，实现多接口XDR话单关联后，能精准定位定界，准确率较单接口XDR提高80%以上。大数据量下，FLINK计算引擎的引入，使得多接口XDR话单合成所需时间实现质的飞越，从VoLTE业务结束到VoLTE信令分析应用可以查询到数据，时间从忙时几小时级缩短至15分钟级，为VoLTE信令分析等上层应用在核心网络的指标分析、故障定位、投诉处理中大有可为。
参考文献
[1]黄永，信令监测系统中XDR 话单用户信息的关联回填研究[J] ，数字通信世界. 2019，（05）：244
[2]杨红梅，胡泊，VoLTE关键技术及相关标准[J]，电信网技术，2013年02期： 57-60
[3]李梓杨，于炯，卞琛，张译天，蒲勇霖，王跃飞，鲁亮.基于流网络的Flink平台弹性资源调度策略[J];通信学报;2019年08期：85-101
何彬（1987—），性别：男，民族：汉，籍贯：海南琼海，單位：中国移动通信集团海南有限公司，职称：交换专业中级工程师，研究方向：4/5G核心网、IMS/VoLTE核心网络维护及优化。