随着通信技术、网络技术和移动互联网技术的不断发展,人们生活水平日益提高,休闲娱乐的方式也发生了翻天覆地的变化,不仅通过电视、收音机,更能通过网络媒体获取到想要的信息,流媒体技术便应运而生。直播由于其可以实时互动的特点,深受广大人们的喜爱,如今越来越多的人可以通过手机客户端进行直播视频的观看。对于流媒体直播的技术人员而言,提升用户使用的产品体验感,为用户提供更好更优质地直播服务尤为重要。流媒体直播是一个链路非常长而且传输过程很复杂的一项技术,中间涉及主播推流、CDN传输和观众拉流的三大主要阶段,每个阶段还涉及到复杂的视频处理和网络通信。当服务出现故障时,会面临着排查难度大、排查时间长、涉及人员多等问题。而观众对于直播出现问题的容忍度是非常低的,卡顿变多、黑屏以及音画不同步的问题很容易造成观众的流失,因此保障好流媒体直播的质量是重中之重。基于Flink的流媒体视频直播数据监控系统的主要数据来源是APP集成的直播SDK埋点,通过日志收集端监控服务,将用户在播放过程中产生的播放日志收集起来,然后传输到Kafka。通过对Kafka的数据进行实时的流式处理,并将数据写入另一个Kafka中。再根据不同的业务需求,通过消费Kafka中的消息,一部分进入持久化的离线存储HDFS,做离线数据的存储、转换和展示,另一部分进入实时的全文检索,进行播放日志的实时查看,便于排查问题。针对上述问题,本文的具体工作如下:(1)设计了一种基于Flink的流式处理系统,通过消费Kafka中实时处理的来自客户端SDK的埋点数据,进行数据的清洗、ip地址的转换以及状态判断,并将处理后的数据写入新的Kafka中。(2)设计了基于Elastic Search的全局搜索,通过获取Flink处理的全量日志,由于数据是实时产生,可以在Kibana中可视化的进行日志的实时检索,配合埋点信息快速定位和发现问题。(3)设计流媒体关键指标,通过基础架构提供的ETL工具进行离线天级数据持久化存储、转换和展示,方便相关人员监控视频直播的质量,并可以通过指标进行竞品的分析和对比。通过测试和实际应用,本系统可以极大地提高问题的排查效率,缩短排查时间,节约了人力成本。通过本系统,测试人员可以快速定位有问题的播放日志,从而缩小排查服务问题的范围。通过Elastic Search可以进行新版本灰度的指标查看,出现问题可以及时的回滚。通过离线的天级数据展示,可以进行SDK播放质量的统计,通过数据还可以进行竞品的分析对比,更有针对性的提高本产品的服务,同时也可以给观众带来良好的使用体验。