近年来机器学习技术取得了长足的发展,成为诸多软件的创新驱动力,其质量与可靠性问题正逐渐引起人们的高度关注。软件测试是保障软件质量的重要手段,将软件测试技术应用于机器学习软件的质量保障与评估具有重要研究价值。而区别于传统软件,机器学习软件一般规模庞大、结构复杂;软件行为具有不确定性,预期输出难以构造;其数据驱动特性和内部行为分析方法的缺失使得其往往被当作无法解释的黑盒。因此,传统软件测试技术难以直接应用于机器学习软件。蜕变测试是一种能有效缓解测试谕言缺失问题的技术,已有效应用于诸多领域。本文旨在针对上述问题与挑战,基于蜕变测试技术对机器学习软件测试方法进行研究。本文工作主要分为两部分:(1)提出面向聚类系统的度量与评估方法。具体地,以度量数据动态特性对聚类的影响为目的,基于用户对聚类的一般期望定义了一系列适用于大多数应用场景的通用蜕变关系,实现聚类系统有效性度量;其次,定义了基于蜕变关系的充分性度量准则以引导聚类系统的评估;最后,提出了一套完整的聚类系统评估框架,以帮助用户评估及选择适用于特定场景的聚类系统。在六个经典聚类系统上的实验以及真实用户调研验证了本方法的可用性和有效性。(2)提出面向深度图像检索系统的测试方法。具体地,基于图像检索系统特性定义了一系列蜕变关系作为测试谕言;其次,为探索现有深度学习测试准则的多样性内涵,定义了五种量化指标以度量神经网络内部状态的多样性,并对上述多样性与系统失效行为间的相关性进行了实证研究;最后,以探索多样性为目标,提出了基于贪心搜索的测试用例生成算法,并在分类任务下对测试用例的质量进行了度量。在两个公用数据集和三个深度学习模型上的广泛实验证实了本方法的有效性。