论文部分内容阅读
一、背景
随着移动互联网时代的到来，产品质量和用户体验水平已成为决定市场竞争成败的关键要素。数据业务及智能终端的更新换代也更加快捷，当前越来越需要收集和研究各类业务在不同网络制式、不同终端、不同应用场景下的质量问题。目前拨测存在较多问题和不足，包括拨测终端老旧、功能机占较大比例，拨测手段落后、以人工为主、局限于性能指标，缺乏集中化、自动化的拨测管理能力等。传统的终端适配技术一般是采用硬件解决方案，需要对手机进行拆机适配，费时费力，且通用性极低，每款终端都需要单独适配。
本文提出了一种产品品质自动化测试能力和方法，通过自动化的方式对数据业务产品品质进行常态化测试，并尝试使得产品品质的内涵也由产品客观质量向用户主观感知体验延伸。
提升集中化、自动化拨测能力，确保拨测工作的覆盖面、及时性和有效性的方法，。
在完成自动化测试能力的基础上，，在业务层面上从用户感知体验角度出发，对各种增值业务质量进行自动拨测、数据汇总上报，报表定制显示等。并完成后续的测试数据提交及分析工作，为业务产品品质提升提供有力支撑。
二、解决方案
数据业务产品品质自动拨测系统采用独立终端、软件自动化工作的方式执行，系统架构分成三个层，数据采集层、数据处理层和应用层，具体架构如下：
1.数据采集层：负责采集终端测试结果的提取，同时保存原始数据信息。实现实时采集终端的测试结果，终端上执行的每测试项目在完成后就将测试结果上报。当后台系统负荷过高或发生网络故障时，终端可以将测试结果暂时保存，在系统通信恢复后，自动实现测试结果的上传同步。
2.数据处理层：数据处理层位于数据采集层和应用功能层之间，实现采集数据处理、告警处理、数据关联、数据合成、资源管理、数据上传集团、接口服务等功能。
3.应用功能层：负责测试任务管理、终端管理、脚本管理、告警管理、系统管理、统计报表等功能，从数据处理层获取汇总整合好的数据，最终通过丰富多样的呈现方式来予以展现。
考虑到可能测试的地点是分布在不同地理位置的，需要适配不同的应用场景（商场、街道、办公楼等）、网络环境（2G、3G、4G、Wlan等）、不同速度（静止、步行、车载等），系统架构上采用“中央管理节点-拨测分节点”两级架构方式。具体运作模式如下：
1、中央管理节点向特定的拨测分节点下发测试计划，其中测试计划包括需要测试的业务指标要求、测试的频次和时间要求、测试的终端要求。
2、拨测分节点根据测试计划中的测试业务指标要求完成脚本的构建工作，其中测试脚本采用软件方式模拟并录制用户真实操作各项待测指标的全部使用过程，并标注出测试关键点，并将其代码化，生成测试脚本。
3、拨测分节点根据测试计划的测试频次和时间要求制定好测试任务调度，发布到拨测分节点拨测管理模块。
4、拨测分节点拨测管理模块将测试脚本发送到终端上的测试模块，测试模块支持将代码化的测试脚本予以解析，并可以模拟用户操练自动化的执行待测指标任务，并在测试关键点检查脚本所携带的元素（例如图片），或者从被测终端操作系统层获取相关元素（例如网络流量，内存占用情况），从而判断出待测指标是否完成，并生成测试结果。
5、其中，时延和成功率的测试采用元素比对法（例如比较脚本中的图片与测试中获取的图片是否一致）进行测试，资源消耗（包括CPU、内存）、电量消耗、网络流量消耗类指标采用通过软件方式从被测终端操作系统层获取。
6、测试完成后，测试模块将拨测结果实时上报到拨测分节点拨测管理模块，并由拨测分节点实时或定时汇总到中央管理节点。
三、应用方案
1、拨测系统架构
数据产品品质自动拨测系统可完成运营商全网的自有数据产品及相关竞品在现网（2G/3G/4G/WLAN）中的自动化测试过程，并对测试返回的的数据进行分析和展示。
数据产品品质自动拨测系统中，主要划分为拨测管理中心和拨测分节点。
拨测管理中心主要承担全网的测试任务的管控，测试数据的分析与展现等，主要功能包括：测试管理功能、测试指标管理功能、任务管理功能、报表管理功能等。
拨测分节点可以细分为拨测管理模块和测试模块。
拨测管理模块主要承担本地区内测试任务和测试脚本的管理和下发，测试数据的汇集和上报等，包含测试任务管理、测试脚本管理、测试结果上报、测试失败数据分析。
测试模块主要承担测试脚本的执行，测试数据采集等功能，通过内置软件实现对智能终端的操作控制、结果识别以及逻辑判断，对传统业务形态（短、彩、WAP）及目前的APP客户端都适用，支持真实终端可使用的各类业务指标，包括通话、短彩信等基础功能以及页面浏览、即时通信、流媒体、下载、阅读、游戏等基于应用客户端的数据业务功能的测试。通过统一web门户对系统的各项功能进行集中管理，包括测试终端、任务调度、结果报表及告警等进行管理。测试终端支持通过有线或无线方式接入管理平台，包括USB、2G、3G、4G、Wifi等方式。测试终端安装测试手机端软件，实现任务接受、操作控制、结果识别及数据上传等自动测试功能。
2、支持情况
（1）支持丰富的终端
该系统支持终端平台包括Android全系列版本， IOS全系列版本，并能实现操作系统能更新测试脚本和自动分发升级、。
（2）业务支持情况
该拨测系统能够支持对运营商各类数据产品及相关竞品的性能指标进行完备的测试，测试范围不限于包含时延，成功率，资源消耗，电量消耗以及网络流量等。
（3）支持测试场景
该拨测系统支持全场景、全天候的终端智能拨测。
四、方案分析
1、多手段测试技术，保证测试结果准确细致
采用前后端结合的方式对网页每个元素进行分析，可实时了解到专用设备访问页面过程中的各个环节，包括：元素类型、所在服务器地址、访问时延、内容大小等。
2、远程终端控制，部署更灵活
专用设备无需通过PC或其他设备，可通过有线、蜂窝网或者WIFI就可连接到测试平台进行网页访问、网络测试等。
3、专用设备，测试多种网络环境
使用专用设备，可同时支持有线、GSM、GPRS、WCDMA、TD-LTE、TD-SCDMA、CDMA2000等多种网络环境，可以在第一时间模拟用户使用场景。
4、业务测试功能丰富
可进行拨号测试、PING测试、HTTP测试、FTP测试、流媒体测试等多种测试功能，测试过程可跟踪、可追溯。
5、实时告警机制，保证系统正常运行
系统实时监测业务及设备运行情况，对于异常情况通过邮件、短信形式传递，及时发现业务故障，保证系统正常运行。
6、测试终端实时管理
基于位置的终端管理模式，可以随时监控在线的测试设备，便于及时了解终端状态并进行实时管理。
7、测试结果细致，报表分析能力强。
测试失败结果会通过图形、信息等方式保存，便于问题跟踪及故障排查。支持以测试成功率、性能进行统计，便于业务分析。
随着移动互联网时代的到来，产品质量和用户体验水平已成为决定市场竞争成败的关键要素。数据业务及智能终端的更新换代也更加快捷，当前越来越需要收集和研究各类业务在不同网络制式、不同终端、不同应用场景下的质量问题。目前拨测存在较多问题和不足，包括拨测终端老旧、功能机占较大比例，拨测手段落后、以人工为主、局限于性能指标，缺乏集中化、自动化的拨测管理能力等。传统的终端适配技术一般是采用硬件解决方案，需要对手机进行拆机适配，费时费力，且通用性极低，每款终端都需要单独适配。
本文提出了一种产品品质自动化测试能力和方法，通过自动化的方式对数据业务产品品质进行常态化测试，并尝试使得产品品质的内涵也由产品客观质量向用户主观感知体验延伸。
提升集中化、自动化拨测能力，确保拨测工作的覆盖面、及时性和有效性的方法，。
在完成自动化测试能力的基础上，，在业务层面上从用户感知体验角度出发，对各种增值业务质量进行自动拨测、数据汇总上报，报表定制显示等。并完成后续的测试数据提交及分析工作，为业务产品品质提升提供有力支撑。
二、解决方案
数据业务产品品质自动拨测系统采用独立终端、软件自动化工作的方式执行，系统架构分成三个层，数据采集层、数据处理层和应用层，具体架构如下：
1.数据采集层：负责采集终端测试结果的提取，同时保存原始数据信息。实现实时采集终端的测试结果，终端上执行的每测试项目在完成后就将测试结果上报。当后台系统负荷过高或发生网络故障时，终端可以将测试结果暂时保存，在系统通信恢复后，自动实现测试结果的上传同步。
2.数据处理层：数据处理层位于数据采集层和应用功能层之间，实现采集数据处理、告警处理、数据关联、数据合成、资源管理、数据上传集团、接口服务等功能。
3.应用功能层：负责测试任务管理、终端管理、脚本管理、告警管理、系统管理、统计报表等功能，从数据处理层获取汇总整合好的数据，最终通过丰富多样的呈现方式来予以展现。
考虑到可能测试的地点是分布在不同地理位置的，需要适配不同的应用场景（商场、街道、办公楼等）、网络环境（2G、3G、4G、Wlan等）、不同速度（静止、步行、车载等），系统架构上采用“中央管理节点-拨测分节点”两级架构方式。具体运作模式如下：
1、中央管理节点向特定的拨测分节点下发测试计划，其中测试计划包括需要测试的业务指标要求、测试的频次和时间要求、测试的终端要求。
2、拨测分节点根据测试计划中的测试业务指标要求完成脚本的构建工作，其中测试脚本采用软件方式模拟并录制用户真实操作各项待测指标的全部使用过程，并标注出测试关键点，并将其代码化，生成测试脚本。
3、拨测分节点根据测试计划的测试频次和时间要求制定好测试任务调度，发布到拨测分节点拨测管理模块。
4、拨测分节点拨测管理模块将测试脚本发送到终端上的测试模块，测试模块支持将代码化的测试脚本予以解析，并可以模拟用户操练自动化的执行待测指标任务，并在测试关键点检查脚本所携带的元素（例如图片），或者从被测终端操作系统层获取相关元素（例如网络流量，内存占用情况），从而判断出待测指标是否完成，并生成测试结果。
5、其中，时延和成功率的测试采用元素比对法（例如比较脚本中的图片与测试中获取的图片是否一致）进行测试，资源消耗（包括CPU、内存）、电量消耗、网络流量消耗类指标采用通过软件方式从被测终端操作系统层获取。
6、测试完成后，测试模块将拨测结果实时上报到拨测分节点拨测管理模块，并由拨测分节点实时或定时汇总到中央管理节点。
三、应用方案
1、拨测系统架构
数据产品品质自动拨测系统可完成运营商全网的自有数据产品及相关竞品在现网（2G/3G/4G/WLAN）中的自动化测试过程，并对测试返回的的数据进行分析和展示。
数据产品品质自动拨测系统中，主要划分为拨测管理中心和拨测分节点。
拨测管理中心主要承担全网的测试任务的管控，测试数据的分析与展现等，主要功能包括：测试管理功能、测试指标管理功能、任务管理功能、报表管理功能等。
拨测分节点可以细分为拨测管理模块和测试模块。
拨测管理模块主要承担本地区内测试任务和测试脚本的管理和下发，测试数据的汇集和上报等，包含测试任务管理、测试脚本管理、测试结果上报、测试失败数据分析。
测试模块主要承担测试脚本的执行，测试数据采集等功能，通过内置软件实现对智能终端的操作控制、结果识别以及逻辑判断，对传统业务形态（短、彩、WAP）及目前的APP客户端都适用，支持真实终端可使用的各类业务指标，包括通话、短彩信等基础功能以及页面浏览、即时通信、流媒体、下载、阅读、游戏等基于应用客户端的数据业务功能的测试。通过统一web门户对系统的各项功能进行集中管理，包括测试终端、任务调度、结果报表及告警等进行管理。测试终端支持通过有线或无线方式接入管理平台，包括USB、2G、3G、4G、Wifi等方式。测试终端安装测试手机端软件，实现任务接受、操作控制、结果识别及数据上传等自动测试功能。
2、支持情况
（1）支持丰富的终端
该系统支持终端平台包括Android全系列版本， IOS全系列版本，并能实现操作系统能更新测试脚本和自动分发升级、。
（2）业务支持情况
该拨测系统能够支持对运营商各类数据产品及相关竞品的性能指标进行完备的测试，测试范围不限于包含时延，成功率，资源消耗，电量消耗以及网络流量等。
（3）支持测试场景
该拨测系统支持全场景、全天候的终端智能拨测。
四、方案分析
1、多手段测试技术，保证测试结果准确细致
采用前后端结合的方式对网页每个元素进行分析，可实时了解到专用设备访问页面过程中的各个环节，包括：元素类型、所在服务器地址、访问时延、内容大小等。
2、远程终端控制，部署更灵活
专用设备无需通过PC或其他设备，可通过有线、蜂窝网或者WIFI就可连接到测试平台进行网页访问、网络测试等。
3、专用设备，测试多种网络环境
使用专用设备，可同时支持有线、GSM、GPRS、WCDMA、TD-LTE、TD-SCDMA、CDMA2000等多种网络环境，可以在第一时间模拟用户使用场景。
4、业务测试功能丰富
可进行拨号测试、PING测试、HTTP测试、FTP测试、流媒体测试等多种测试功能，测试过程可跟踪、可追溯。
5、实时告警机制，保证系统正常运行
系统实时监测业务及设备运行情况，对于异常情况通过邮件、短信形式传递，及时发现业务故障，保证系统正常运行。
6、测试终端实时管理
基于位置的终端管理模式，可以随时监控在线的测试设备，便于及时了解终端状态并进行实时管理。
7、测试结果细致，报表分析能力强。
测试失败结果会通过图形、信息等方式保存，便于问题跟踪及故障排查。支持以测试成功率、性能进行统计，便于业务分析。