论文部分内容阅读
一、引言
随着我国互联网业务的迅速发展，互联网应用的规模和功能越来越多，用户对网络带宽的需求也越来越高。家用宽带接入技术也逐步由早期以x数字用户线（xdigital subscriber line，xDSL）为主发展到以光纤到户（fiber to the home，FTTH）为主，上网速率由2 Mbps提高到100 Mbps乃至1000 Mbps以上，光进铜退成为宽带网络接入的主流。2017年前后一段时间，由于家用宽带接入仍以铜线为主，接入速率大多停留在10 Mbps以下，一方面运营商对用户上网以Mbps为单位收取费用，另一方面用户的上网体验又不佳，纷纷质疑宽带速率货不对板，“假宽带”之声一时闹得沸沸扬扬。对于通信监管部门而言，如何让广大网民全面了解上网真实情况，准确掌握带宽上网速率等网络质量数据就成为一个不容忽视的问题。此外，国民上网速度、上网体验和资费水平等数据在一定程度上反映出一个地方宽带网络建设运行经营水平，全面了解这些数据有利于促进运营商提升当地的网络服务质量。综上所述，建设一个宽带测速综合平台是十分必要的。
二、解决方案
本方案以广东省为例提出建设一个“宽带测速综合平台”，通过采集家庭固定宽带测速数据和移动宽带测速数据，从地市、运营企业、接入带宽等多维度展示广东省宽带发展的整体情况。同时通过深度分析测速数据和行业运营数据、网络运行用户动态数据，综合剖析宽带网络整体运行情况，为行业监管提供支撑。
总的来说，宽带测速平台主要有3个功能：用户测速数据的采集，对采集的数据的分析处理和数据的可视化展示。
如图1所示，广东省“宽带测速综合平台”包括自建测速平台数据源、互联网企业数据源、各运营商数据源、数据接入处理系统、数据分析模块、多维度展示界面、大屏展示系统等7大部分，其中自建测速平台数据源、各运营商数据源和互联网企业数据源这3大数据源提供网络质量的基础样本数据，数据接入处理系统提供数据接口处理接入数据，数据分析模块对多源数据进行采集、清洗及综合分析，多维度展示界面进行丰富的图表展示和分析结果展示，大屏展示系统则由8个屏幕组成，可选取关键数据进行大屏界面展示分析。
（一）自建测速平台
自建测速平台包括在全省各地市部署一定数量的测试探针，并开发移动端测速应用程序（application，APP）、测速微信小程序和PC端网页版测速程序，实现对全省固定和移动宽带速率的全方位测试。移动客户端接入该平台，等同于测速路由器。移动端宽带测试工具将访问测速服务器实现宽带接入速率的测量，宽带接入速率的测量值至少包括宽带上/下行接入速率。同时，智能路由器向各类网站发起访问测试，实现用户上网体验的测量，用户体验的测量值至少包括TOP网站首屏呈现时间、视频下载速率、首次缓冲时延及卡顿率、常用文件下载速率等。
1. 测速APP
测速APP（应用商店APP名称：精准测速）通过在手机上模拟真实用户上网操作行为，比如浏览常用页面、播放常用主流网站视频等操作业务，采集获取终端业务数据包括移动宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等并将数据上传至后台数据分析模块进一步分析处理。
采集的数据包括终端业务数据、无线环境信息、坐标位置信息以及系统信息等，并按照规范要求进行解析、生成、合并处理，传送到后台数据分析模块。
2. 微信小程序
微信小程序通过主动向测速服务器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，包括ping时延、下载平均速率，上传平均速率。
3. PC端網页版测速程序
测速网页通过主动向测速服务器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，即固定宽带上/下行接入速率。
（二）互联网企业和运营商数据源
运营商与互联网企业测速结果数据接入通过内置的数据源监测系统实现，包括以下两种方式：
运营商和互联网企业主动上报。数据源监测系统提供一个数据批量上报接口，接口的数据格式为Json，运营商和互联网企业可以实时调用数据批量上报接口将测速数据上报到数据源监测系统，上报的测速数据指标有：宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等。
数据源监测系统主动获取。运营商与互联网企业提供测速结果数据接口，数据源监测系统定期去调用该接口以获取测速数据，获取到的测速数据指标包括：宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等。
（三）数据接入处理系统
数据接入处理系统主要针对上述互联网企业和运营商已经具备的各具特色的本网实时网络测速数据，开发相应系统接口，接入和上传各数据源系统的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。实时动态监控类数据包括热点区域网络质量，人流量，话务量状况等。报表类数据包括4G/固网用户发展情况，各热点地区数据量情况，热点地区用户体验情况，热点地区话务量，基础资源数量，运营商运营收入和投资，运营商业务发展情况数据等。
与此同时，提供运营商数据录入和审核的web界面，分别供运营商的数据报表录入人员和审核人员使用。运营商数据录入审核通过后，运营商数据可同步到测速平台后端系统，实现统计数据报送电子化功能。
为实现数据采集，需要在各电信运营企业侧部署采集接口机，实现数据的采集和传送。
数据接入子系统提供以下三种方式实现数据接入：通用接口。提供统一的数据批量上报接口，运营商通过调用此接口实时批量上传测速数据数据。
个性接口。针对性打造对接系统接口，接入和上传各运营商的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。 数据导入。提供批量导入数据的web界面和导入各类数据的Excel模板，运营商将需要导入的数据事先录入到Excel中，然后通过web界面上传Excel数据实现批量导入。
（四）数据处理分析模块
数据处理子系统对数据接入子系统收集的数据进行数据清洗和必要重组，通过大数据技术处理和分析，各基础数据经过分析处理后展示全省基础网络历史和实时动态数据，包括：全省漫游情况、4G/固网用户发展情况、各热点地区数据量情况、热点地区话务量、基础资源数量、运营商运营收入和投资、运营商业务发展情况等。
数据清洗处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集的数据能正确、完整、规范地加载到目的地;另一方面，实现数据整合过程中的异常处理机制，如：处理传输异常、数据加载异常、数据结构与质量异常等。
数据处理是数据中心的核心内容，系统需提供基础数据服务，主要步骤包含数据抽取、数据清洗、数据转换和数据加载等功能。数据处理是数据比对整合系统的核心，作为一个面向服务的平台，数据清洗整合应用就是由多个数据服务组成的，其中包括一系列预定义的基础数据处理，这些基础数据处理包括以下几个功能：
数据抽取。数据抽取就是从数据中心的中心库中获取业务数据的过程。数据来源为业务系统和文件系统，抽取方式为根据具体业务进行全量抽取或增量抽取，根据具体业务制定抽取的时间和频度，这些参数都是可配置的。图2是数据抽取示意图。
数据清洗。数据清洗指对前端抽取过来的数据进行清洗处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。数据清洗的任务主要是进行多源数据不一致的数据转换、数据颗粒度的转换、数据去脏和转换规则计算。其中多源数据不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据进行统一处理;数据颗粒度转换需要对数据进行统一归整;转换规则计算则按照预先设计的转换规则对数据进行重新计算。系统支持批量清洗和实时清洗，对批量离线数据进行分布式并行清洗转换，对实时数据则进行不落地清洗转换。图3是数据清洗示意图。
数据分析。系统利用大数据应用框架分布式存储平台的数据仓库作为传统数据仓库的补充，实现对非结构化数据的存储和管理，并对来自网络的海量数据查询提供支撑。基于开源计算框架，主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度。图4是数据分析示意图。
（五）多维度展示界面
多维度展示界面综合利用系统采集到的家庭固定宽带测速数据和移动宽带测速数据、行业运营数据和网络运行用户动态数据等，按地市、运营企业、接入带宽等多维度展示广東省宽带网络整体运行情况，让管理人员全面把握全省宽带网络的运行态势，必要时作进一步的分析处理。系统主要通过热力图、人口流动图、数据流动图、发展趋势折线图、柱状图等形式呈现和分析数据。
通过曲线和柱状图混合图，展示广东用户访问Top100网站的时延、丢包率、首屏时间等，拖动下方滑块可以浏览所有Top100网站的访问体验数据，数值越大代表网络体验越差。通过曲线图，展示广东用户访问Top10视频网站的时延和丢包率等，点击曲线，可以看到点击位置对应视频网站的时延和丢包率具体数值。管理人员可以查看广东用户在打开哪个网站，尤其是视频网站时，时延较大或丢包率较高，准确定位问题所在，综合评估网络服务质量，有针对性地解决问题。
测速核心指标也将在宽带测速后台以多种图表形式按地市、时间、运营商等进行多维度展示。宽带接入速率包括宽带接入下载速率、宽带接入上传速率、ping时延和丢包率，用户体验速率包括网页体验速、视频体验速率和常用文件下载速率。
以全国地图+流动方向+数据表格的方式展示出入粤用户情况（万人次），展示的内容包括：目的/起始省份、平时出粤用户数、特殊日期（如春运）出粤用户数、平时入粤用户数、特殊日期（如春运）入粤用户数等。
以广东省地图+流动方向+数据表格的方式展示省内人口流动情况（万人次），展示的内容包括：起始地市、前往地市、平时用户数、特殊日期（如春运）用户数。
以区域热力图+表格的方式展示全省热点区域（公共交通点）人口流动情况（万人次）展示的内容包括：区域名称、平时日均用户数、特殊日期（如春运）用户数、峰值时段、峰值用户数。
结合历史数据，以发展趋势折线图、柱状图形式综合展现和对比各运营商在用户发展、收入与投资、业务量、通信基础资源等方面的动态情况。
（六）大屏展示系统
通过对收集的数据进行统计分析处理，并且以不同的维度在大屏幕展现出来。
首页展示的是比较宏观的数据，数字翻牌器展示了测速总次数和今日测速次数;柱形图和折线图展示了通信行业业务运行情况;热力图展示了全省各地市的宽带网络网速水平情况;数据流动图展示了移动用户数全入粤的分布。
通信行业业务运行主要展现的是全省电信业务的总体水平，包括电信业务收入、电信业务总量、宽带接入用户数和宽带用户普及率等数据。
宽带网络展现的是全省各个地市的平均上传/下载率，其中包括固定宽带和移动宽带的数据，还有视频下载、文件下载和网页下载的平均速率以及访问网站的首屏加载时间等。
三、结语
广东省“宽带测速综合平台”从数据源头开始，采集家庭固定宽带测速数据和移动宽带测速数据，并且对采集到的数据进行加工、分析、统计等处理，最后以地市、运营企业、接入带宽等多维度展示广东省宽带发展的整体情况。通过“宽带测速平台”，一方面，广大电信用户可以更直观地了解所处网络的服务质量，明明白白消费、放心消费;另一方面，通信监管部门透过深度分析测速数据，综合研究分析制约宽带网络基础设施建设运行的关键影响因素，有的放矢地推进宽带网络建设，不断完善用户的上网体验。
随着我国互联网业务的迅速发展，互联网应用的规模和功能越来越多，用户对网络带宽的需求也越来越高。家用宽带接入技术也逐步由早期以x数字用户线（xdigital subscriber line，xDSL）为主发展到以光纤到户（fiber to the home，FTTH）为主，上网速率由2 Mbps提高到100 Mbps乃至1000 Mbps以上，光进铜退成为宽带网络接入的主流。2017年前后一段时间，由于家用宽带接入仍以铜线为主，接入速率大多停留在10 Mbps以下，一方面运营商对用户上网以Mbps为单位收取费用，另一方面用户的上网体验又不佳，纷纷质疑宽带速率货不对板，“假宽带”之声一时闹得沸沸扬扬。对于通信监管部门而言，如何让广大网民全面了解上网真实情况，准确掌握带宽上网速率等网络质量数据就成为一个不容忽视的问题。此外，国民上网速度、上网体验和资费水平等数据在一定程度上反映出一个地方宽带网络建设运行经营水平，全面了解这些数据有利于促进运营商提升当地的网络服务质量。综上所述，建设一个宽带测速综合平台是十分必要的。
二、解决方案
本方案以广东省为例提出建设一个“宽带测速综合平台”，通过采集家庭固定宽带测速数据和移动宽带测速数据，从地市、运营企业、接入带宽等多维度展示广东省宽带发展的整体情况。同时通过深度分析测速数据和行业运营数据、网络运行用户动态数据，综合剖析宽带网络整体运行情况，为行业监管提供支撑。
总的来说，宽带测速平台主要有3个功能：用户测速数据的采集，对采集的数据的分析处理和数据的可视化展示。
如图1所示，广东省“宽带测速综合平台”包括自建测速平台数据源、互联网企业数据源、各运营商数据源、数据接入处理系统、数据分析模块、多维度展示界面、大屏展示系统等7大部分，其中自建测速平台数据源、各运营商数据源和互联网企业数据源这3大数据源提供网络质量的基础样本数据，数据接入处理系统提供数据接口处理接入数据，数据分析模块对多源数据进行采集、清洗及综合分析，多维度展示界面进行丰富的图表展示和分析结果展示，大屏展示系统则由8个屏幕组成，可选取关键数据进行大屏界面展示分析。
（一）自建测速平台
自建测速平台包括在全省各地市部署一定数量的测试探针，并开发移动端测速应用程序（application，APP）、测速微信小程序和PC端网页版测速程序，实现对全省固定和移动宽带速率的全方位测试。移动客户端接入该平台，等同于测速路由器。移动端宽带测试工具将访问测速服务器实现宽带接入速率的测量，宽带接入速率的测量值至少包括宽带上/下行接入速率。同时，智能路由器向各类网站发起访问测试，实现用户上网体验的测量，用户体验的测量值至少包括TOP网站首屏呈现时间、视频下载速率、首次缓冲时延及卡顿率、常用文件下载速率等。
1. 测速APP
测速APP（应用商店APP名称：精准测速）通过在手机上模拟真实用户上网操作行为，比如浏览常用页面、播放常用主流网站视频等操作业务，采集获取终端业务数据包括移动宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等并将数据上传至后台数据分析模块进一步分析处理。
采集的数据包括终端业务数据、无线环境信息、坐标位置信息以及系统信息等，并按照规范要求进行解析、生成、合并处理，传送到后台数据分析模块。
2. 微信小程序
微信小程序通过主动向测速服务器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，包括ping时延、下载平均速率，上传平均速率。
3. PC端網页版测速程序
测速网页通过主动向测速服务器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，即固定宽带上/下行接入速率。
（二）互联网企业和运营商数据源
运营商与互联网企业测速结果数据接入通过内置的数据源监测系统实现，包括以下两种方式：
运营商和互联网企业主动上报。数据源监测系统提供一个数据批量上报接口，接口的数据格式为Json，运营商和互联网企业可以实时调用数据批量上报接口将测速数据上报到数据源监测系统，上报的测速数据指标有：宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等。
数据源监测系统主动获取。运营商与互联网企业提供测速结果数据接口，数据源监测系统定期去调用该接口以获取测速数据，获取到的测速数据指标包括：宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等。
（三）数据接入处理系统
数据接入处理系统主要针对上述互联网企业和运营商已经具备的各具特色的本网实时网络测速数据，开发相应系统接口，接入和上传各数据源系统的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。实时动态监控类数据包括热点区域网络质量，人流量，话务量状况等。报表类数据包括4G/固网用户发展情况，各热点地区数据量情况，热点地区用户体验情况，热点地区话务量，基础资源数量，运营商运营收入和投资，运营商业务发展情况数据等。
与此同时，提供运营商数据录入和审核的web界面，分别供运营商的数据报表录入人员和审核人员使用。运营商数据录入审核通过后，运营商数据可同步到测速平台后端系统，实现统计数据报送电子化功能。
为实现数据采集，需要在各电信运营企业侧部署采集接口机，实现数据的采集和传送。
数据接入子系统提供以下三种方式实现数据接入：通用接口。提供统一的数据批量上报接口，运营商通过调用此接口实时批量上传测速数据数据。
个性接口。针对性打造对接系统接口，接入和上传各运营商的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。 数据导入。提供批量导入数据的web界面和导入各类数据的Excel模板，运营商将需要导入的数据事先录入到Excel中，然后通过web界面上传Excel数据实现批量导入。
（四）数据处理分析模块
数据处理子系统对数据接入子系统收集的数据进行数据清洗和必要重组，通过大数据技术处理和分析，各基础数据经过分析处理后展示全省基础网络历史和实时动态数据，包括：全省漫游情况、4G/固网用户发展情况、各热点地区数据量情况、热点地区话务量、基础资源数量、运营商运营收入和投资、运营商业务发展情况等。
数据清洗处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集的数据能正确、完整、规范地加载到目的地;另一方面，实现数据整合过程中的异常处理机制，如：处理传输异常、数据加载异常、数据结构与质量异常等。
数据处理是数据中心的核心内容，系统需提供基础数据服务，主要步骤包含数据抽取、数据清洗、数据转换和数据加载等功能。数据处理是数据比对整合系统的核心，作为一个面向服务的平台，数据清洗整合应用就是由多个数据服务组成的，其中包括一系列预定义的基础数据处理，这些基础数据处理包括以下几个功能：
数据抽取。数据抽取就是从数据中心的中心库中获取业务数据的过程。数据来源为业务系统和文件系统，抽取方式为根据具体业务进行全量抽取或增量抽取，根据具体业务制定抽取的时间和频度，这些参数都是可配置的。图2是数据抽取示意图。
数据清洗。数据清洗指对前端抽取过来的数据进行清洗处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。数据清洗的任务主要是进行多源数据不一致的数据转换、数据颗粒度的转换、数据去脏和转换规则计算。其中多源数据不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据进行统一处理;数据颗粒度转换需要对数据进行统一归整;转换规则计算则按照预先设计的转换规则对数据进行重新计算。系统支持批量清洗和实时清洗，对批量离线数据进行分布式并行清洗转换，对实时数据则进行不落地清洗转换。图3是数据清洗示意图。
数据分析。系统利用大数据应用框架分布式存储平台的数据仓库作为传统数据仓库的补充，实现对非结构化数据的存储和管理，并对来自网络的海量数据查询提供支撑。基于开源计算框架，主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度。图4是数据分析示意图。
（五）多维度展示界面
多维度展示界面综合利用系统采集到的家庭固定宽带测速数据和移动宽带测速数据、行业运营数据和网络运行用户动态数据等，按地市、运营企业、接入带宽等多维度展示广東省宽带网络整体运行情况，让管理人员全面把握全省宽带网络的运行态势，必要时作进一步的分析处理。系统主要通过热力图、人口流动图、数据流动图、发展趋势折线图、柱状图等形式呈现和分析数据。
通过曲线和柱状图混合图，展示广东用户访问Top100网站的时延、丢包率、首屏时间等，拖动下方滑块可以浏览所有Top100网站的访问体验数据，数值越大代表网络体验越差。通过曲线图，展示广东用户访问Top10视频网站的时延和丢包率等，点击曲线，可以看到点击位置对应视频网站的时延和丢包率具体数值。管理人员可以查看广东用户在打开哪个网站，尤其是视频网站时，时延较大或丢包率较高，准确定位问题所在，综合评估网络服务质量，有针对性地解决问题。
测速核心指标也将在宽带测速后台以多种图表形式按地市、时间、运营商等进行多维度展示。宽带接入速率包括宽带接入下载速率、宽带接入上传速率、ping时延和丢包率，用户体验速率包括网页体验速、视频体验速率和常用文件下载速率。
以全国地图+流动方向+数据表格的方式展示出入粤用户情况（万人次），展示的内容包括：目的/起始省份、平时出粤用户数、特殊日期（如春运）出粤用户数、平时入粤用户数、特殊日期（如春运）入粤用户数等。
以广东省地图+流动方向+数据表格的方式展示省内人口流动情况（万人次），展示的内容包括：起始地市、前往地市、平时用户数、特殊日期（如春运）用户数。
以区域热力图+表格的方式展示全省热点区域（公共交通点）人口流动情况（万人次）展示的内容包括：区域名称、平时日均用户数、特殊日期（如春运）用户数、峰值时段、峰值用户数。
结合历史数据，以发展趋势折线图、柱状图形式综合展现和对比各运营商在用户发展、收入与投资、业务量、通信基础资源等方面的动态情况。
（六）大屏展示系统
通过对收集的数据进行统计分析处理，并且以不同的维度在大屏幕展现出来。
首页展示的是比较宏观的数据，数字翻牌器展示了测速总次数和今日测速次数;柱形图和折线图展示了通信行业业务运行情况;热力图展示了全省各地市的宽带网络网速水平情况;数据流动图展示了移动用户数全入粤的分布。
通信行业业务运行主要展现的是全省电信业务的总体水平，包括电信业务收入、电信业务总量、宽带接入用户数和宽带用户普及率等数据。
宽带网络展现的是全省各个地市的平均上传/下载率，其中包括固定宽带和移动宽带的数据，还有视频下载、文件下载和网页下载的平均速率以及访问网站的首屏加载时间等。
三、结语
广东省“宽带测速综合平台”从数据源头开始，采集家庭固定宽带测速数据和移动宽带测速数据，并且对采集到的数据进行加工、分析、统计等处理，最后以地市、运营企业、接入带宽等多维度展示广东省宽带发展的整体情况。通过“宽带测速平台”，一方面，广大电信用户可以更直观地了解所处网络的服务质量，明明白白消费、放心消费;另一方面，通信监管部门透过深度分析测速数据，综合研究分析制约宽带网络基础设施建设运行的关键影响因素，有的放矢地推进宽带网络建设，不断完善用户的上网体验。