随着计算机和网络技术的飞速发展，语言测试的介质也在逐渐发生变化，出现了基于计算机的语言测试取代传统的基于纸笔的语言测试的趋势。以往的许多研究大都探讨了基于计算机的语言测试与基于纸笔的语言测试的等效性，即对比性研究。而大多数研究都是在国外，国内的相关研究相对较少，且结论多有不一致。本文回顾了以往研究的文献，针对其研究不足，对两种介质的英语专业成就测试的等效性进行了深入探讨。本研究以经典真分数信度理论为基础，针对四川外语学院某学院的英语专业成就测试改革，选取27名英语专业三年级学生为计算机考试试点测试对象，分别从备考准备、施考成本、施考过程、评分方式以及数据储存、阅卷员信度、反应效度六个方面进行对比性研究。通过考生成绩以及教师与考生问卷调查结果分析，检验两种不同考试方式的英语专业成就考试是否等效。所有研究的数据用统计软件SPSS16.0进行分析。研究分析结果表明：（1）基于计算机的考试通过考试软件系统组卷，备卷过程较于基于纸笔的考试更方便快捷且省时省力；（2）从长远来看，基于计算机的英语专业成就测试的施考成本较于基于纸笔的考试更低；（3）基于计算机的英语专业成就测试不仅省时省力，更能使英语专业成就测试施考过程效率更高。（4）基于计算机的英语专业成就测试阅卷更快速便捷，评分更客观公正。（5）两种考试方式阅卷员的评分信度没有显著差异，均较好；（6）考生的反应效度较好，受考试方式的影响较小。