近些年以来,世界各地的语言测试组织和机构纷纷制订了自己的语言测试标准或者测试行为准则,以期提高语言测试的质量和专业化水平(参见如AERA/APA/NCME, 1999; ALTE, 1994; EALTA, 2006; ETS, 2002; ILTA, 2000, 2007; JLTA, 2003等)。与此同时,随着我国国际交往的日益频繁,学习英语人数的不断攀升,英语考试在我国得到了迅猛的发展。这些英语考试往往都是大规模、标准化、高风险的考试。而且,这些考试对英语的教学往往容易产生重要的反拨作用,在社会上具有广泛的影响。因此这些考试本身的质量如何,考试是否能够公平、有效地测量出考生的英语水平,成为引人关注的问题。本研究的目的是为我国英语考试的开发、实施和使用制订一套适合我国国情和考试特点的《良好测试行为准则》(下简称为《准则》)。世界上很多测试标准或准则的开发与起草,往往取决于开发或者起草人员对于考试特征的主观性或者经验性的认识与了解。本研究与这些测试标准制订的不同之处在于其采用了以数据为基础的途径,也就是说标准的框架和条款主要取决于在本研究各个阶段所收集的数据。为了达到制订《准则》的目的,本研究拟回答以下三个研究问题:1)目前世界各地已经制订、实施和使用的语言测试标准有哪些?这些标准的制订,对于我们开发适合我国国情和考试特点的标准,有哪些启发?2)我们所要制订和实施的《准则》,其外在的环境特征是什么?3)《准则》的框架和条款分别是什么?如何将我们所采集的数据应用到《准则》的框架和条款的制订中?为了回答这三个研究问题,本研究采取了三个阶段的设计方案。在第一阶段,我们收集并且系统回顾了语言测试领域的主要标准。这些标准由世界各地的语言测试组织与机构制订,并且这些标准的颁布实施对于语言测试领域都具有一定的影响。我们回顾的这些标准中,包括了国际语言测试协会的《道德准则》(ILTA, 2000),美国教育研究协会、美国心理协会和美国国家教育测量协会三家机构共同颁布的《教育与心理测量标准》(AERA/APA/NCME, 1999)以及美国教育考试中心所制订颁布的《ETS质量与公平标准》(ETS, 2002)。通过对这些标准全面、细致、系统的回顾,我们建立了制订语言测试标准的基本模型。在这一模型中,我们明确了制订标准的步骤及核心要素。这一模型将被运用到《准则》的制订中。在第二阶段,我们对目前我国英语考试在开发、实施和使用的各个阶段的具体做法进行了详细的调查研究。全国共有六家考试机构、490名高校学生和166名高校教师参加了本项调查。本调查分为两个阶段:第一阶段是调查考试机构在考试开发、实施和使用全过程中的具体做法;第二阶段是了解学生与教师对于考试开发、实施和使用各个方面的评价。调查采用了定性和定量相结合的研究方法,主要的研究工具为三份调查问卷。同时,调查中也使用了三份清单和一份访谈纲要。通过对考试机构的调查,我们了解了目前考试机构在考试各个阶段的做法,确定了在考试开发、实施和使用各个环节的长处和亟待改进的地方。通过调查发现,考试机构在考试全过程中都采用了自己机构内部制订的质量控制措施,但是这些措施本身的效度有待进一步证明;试测、考试信息的透明度、以及报道和使用考试成绩等方面存在的问题较多,从而影响到考试的效度和公平性。对于学生和教师的问卷调查进一步确认了第一阶段的调查结果。我们发现,学生和教师总体上对英语考试的看法较为积极。学生和教师认为,英语考试存在的不足之处包括有些考试的任务设计不太真实、选择题过多、考试实施中作弊现象严重、考试的评分不够精确以及口语能力的考察不足等。对考试机构和考生及教师的实证性调查让我们进一步意识到为我国英语考试制订《准则》的必要性和急迫性。在第三阶段,根据前两个阶段的研究结果,我们开始起草《准则》。在起草《准则》之前,我们回顾了模型中制订标准必须要考虑的关键因素。第二阶段的实证研究表明,《准则》并不应该仅仅为考试的开发者制订,而是应该包括考试的其他利益相关群体,如教育主管部门,考生和教师等等。只有考试所有的利益相关群体共同协作,才能真正保证考试的效度和公平性。而且通过第二阶段的研究,我们发现,在现阶段,我们无法在《准则》中起草强制性的实施条款。我们认为,目前的《准则》的目的应该是主要是教育性和启发性的。换言之,《准则》目的一共包括两个方面:一是提高语言测试者的质量和专业意识;二是向考试的利益相关群体传播考试开发、实施和使用的基本知识以及考试在各个阶段的良好做法。本研究的目的是通过制订《准则》,以期提高语言测试质量、效度和公平性,这在国内尚属首次。我们认为,本研究所制订的《准则》以及制订《准则》的过程,对于我国语言测试的理论和实践,都具有一定的参考价值。而且,本研究中提出的由教育性与启发性的广义标准向指导某个特定考试机构的具体测试标准的过渡,为我国语言考试机构制订适合自己情况的测试标准,提供了可操作的途径。当然,本研究的大部分工作都集中在《准则》的前期效度研究上(the a priori validation)。由于时间、精力和篇幅的限制,《准则》的后期效度研究(the a posteriori validation),不在本论文的研究讨论的范畴以内。在将来的研究中,需要对《准则》是否适合我国的英语考试进行调查研究,同时也要调查《准则》是否对我国的英语考试产生了预期的影响。