安卓设备的广泛应用得益于移动互联网的发展,因其开源特性,设备之间差异较大,碎片化问题日益严峻,测试对安卓应用愈发重要。应用间的激烈竞争导致开发周期缩短,也使用户对应用的要求越来越高。手工测试因时间成本过高无法满足当前开发的需要,自动化测试工具产业得以蓬勃发展。尽管大多数工具自称测试效果较好,但其测试实验对评估指标、应用集及设备等方面考虑不够全面,导致结果不够客观。因此本文提出一个较为全面客观的自动化测试工具衡量系统。该系统有利于工具的横向比较,也为后续工具的开发提供参考。本文对现有的自动化测试工具进行调研,抽象出了异常、变异、代码覆盖、UI控件覆盖以及碎片化支持等五个多维评判指标,并针对以上指标设计了相关检测方法,解决了评估指标不全面的问题。系统拥有可扩展的待测应用集,其中包括插桩后的原始应用以及对应的变异应用,用户只需提供应用源码方可对应用集进行扩充。通过实现相应接口,系统即可在真机集群上执行待测工具。系统在测试执行期间对自动化测试工具及设备进行监控,同时会收集应用运行时生成的文件、设备日志和被测工具的日志信息。这些数据会存储为原始数据,作为后续评分模块的输入。根据本文提出的多维评估指标公式,对原始应用和变异应用数据进行分析,可以得到测试工具的具体得分。系统后端使用Spring Boot框架完成,通过ADB对待测设备进行连接,前端使用React实现,通过Echarts框架将结果以图形化的方式展示。用户可以从图像中简明直观地了解测试结果。本文选取了17个开源应用进行自动插桩变异操作,除系统环境因素导致1个应用编译失败外,其它应用均成功执行该操作。包括变异应用在内,共形成了1089个应用的待测应用集合。系统已对5个知名自动化测试工具进行适配。本文使用本系统对以上工具进行测试,测试在6个设备上共执行了5040次自动化测试工具的测试任务。在测试过程中系统可对设备以及测试工具进行有效管理,测试数据收集、日志收集、监控等功能表现正常。测试后使用系统对收集的数据进行分析,成功使用本文提出的多维评估指标对自动化测试工具进行评估,评估结果清晰展示了待测工具在五个维度的测试表现以及具体得分。