自动目标识别(Automatic Target Recognition,ATR)系统已成为许多先进武器系统的一个重要组成部分。长期以来,有很多专家和学者都在从事ATR系统相关技术的研究。其中,科学地评估ATR系统是进行ATR系统研制和改进的基础性工作。目前,国内对ATR系统评估技术的研究刚刚起步,还存在不少问题。本文面向ATR系统评估的军事需求,以ATR系统外场测试数据为基础,研究了ATR系统效能评估方法,并开发了“ATR作战效能评估系统”,解决了ATR系统效能评估领域的一些重要问题。主要研究内容如下:(1)基于小样本分析方法的ATR系统识别率评估方法研究。ATR系统的识别率是ATR系统效能评估的一个重要指标,工程上通常是根据试验结果计算识别率在一定置信水平下的置信区间。要提高置信区间的精度需要大量地增加试验样本,由于诸多客观条件的限制,实测样本量往往不能满足估计精度的要求。针对此问题,本文将小样本分析方法引入ATR系统识别率的评估,分别研究了基于自助(Bootstrap)方法和基于Bayes方法的ATR系统识别率评估方法,对方法的适用性和先验信息的获取、折合等相关问题进行了深入的研究。仿真实例证明了两种方法能够在通常量级的实测样本下提高ATR系统识别率置信区间的精度。(2)ATR系统作战效能评估方法研究。本文研究ATR系统的作战效能,给出了ATR系统作战效能的定义,对ATR系统的作战过程进行了分解,将ATR系统的作战效能指标划分为ATR算法效能指标和ATR系统代价指标两大类,结合ATR系统的作战过程对各种指标进行了深入的分析。此外,提出了ATR系统作战效能评估的技术方法,研究了各种类型指标的规范化方法,分析了几种指标聚合方法的适用性。(3)基于以上理论研究,开发了“ATR作战效能评估系统”,在软件中实现ATR系统作战效能评估的整个流程,即指标体系编辑、各类指标规范化、指标聚合等,提供多种评估结果的展示方式,为ATR系统作战效能评估提供软件工具支持。最后,运用本文研制的软件系统对一个ATR系统作战效能评估实例进行了分析。