论文部分内容阅读
摘 要：口语测试因操作性差、成本高效率低等原因很难实施运作，然而作为有效的语言行为测试却是可以直接考查学生二语运用能力的有效测试方法。该文在交际语言测试理论视阈下，设计开发一项日语口语测试，通过探讨在预测中如何完善评分量表、保证评分者间信度、甄选任务课题3方面问题尝试为日语口语测试开发提供研发路径和设计框架。
关键词：交际语言测试 预测 评分量表 评分者间信度 任务课题
中图分类号：G64 文献标识码：A 文章编号：1672-3791（2016）08（a）-0115-03
Abstract： Oral test is difficult to be enforced due to lack of feasibility， high cost and low efficiency etc.， however， it is one important testing method which can directly examine usage abilities of second language of students as an effective language performance test. The article researches and develops one oral Japanese test under the theory of communicative language testing. It tries to offer D&R path and research framework for development of oral Japanese test through three matters as how to improve rating scales in the pretest， ensure reliability and select task topic.
Key Words：Communicative language testing； Pretest； Rating scale； Reliability； Task topic
近年来高校日语教学伴随着跨文化交际教学改革的深入推进，教学理念、教材编写、教学方法均发生了翻天覆地的变化。交际教学，尤其在拟真的交际情景中进行的口语课堂在大学日语教学中逐渐占领重要地位，然而与交际口语教学相比，口语测试的开发与编制的改革发展滞后。综观高校日语测试现状，往往多以纸笔测试方式对学生的语言能力进行测评，这种重信度而轻效度的测评方法不仅无法产生良好的反拨作用，亦不能科学准确地测评学习者日语交际能力（董博 島田，2016）。毋庸置疑，在似真性的情境中进行口语测试可以直接测试学生日语运用能力，解决当前日语专业测试效度低下的状况。然而口语测试由于操作性差（张新元 2014），效率低成本高，又因其多种可变不确定因素的干扰较难实施运作。其中任务因素、考官因素及评分标准不确定因素为口语测试中表现的三大矛盾。
正是因为这种难操作，易变化的测试特质，日语口语测试的开发研究在日语教学研究领域中属于少人问津的一片领地。该文不揣浅陋试通过实证研究方法研发设计一组真实性强的任务型口语测试，焦点集中在设计开发的预测阶段，在预测中重点考察评分者间信度、任务课题的甄选、评分量表的制订3个方面。通过探讨口语测试设计与开发程序，寻找口语测试中的信度、效度和可行性之间的平衡，对此研究领域提供借鉴及思考。
1 交际语言测试理论及口语测试设计、评价原则
1.1 交际语言测试理论综述
口试，从测试方式来看，属于直接测试，所测试的是语言的实际运用能力，亦即交际能力[7]。自20世纪60年代起各国学者们就进行着不懈的求知与探索，Hymes（1972）对Chomsky静态的语言观（语言能力、语言行为）提出了反驳和异议。他认为语言拥有社会文化性，在语言的传达能力中除了“语法能力”还包括了“社会语言能力”“策略能力”3个维度。Canal和Swain（1983）在Hymes（1972）的交际能力理论基础上，将理论进一步扩展，把“社会语言能力”细分为“语篇能力”和“社会语言能力”。进入20世纪90年代，Bachman（1990，1996）继承了Canal和Swain（1983）的观点提出了全新的交际语言能力模式，其能力模式的核心内容由知识及知识使用的能力构成，他认为知识使用的能力必然是在交际语境中运用语言的能力，重视语境的真实性，如何将语言知识转化为语言能力是交际能力中最重要的问题。
Bachman的交际语言能力理论模型在语言能力研究的历史上描绘了浓墨重彩的一笔，它与旧的模型相比具有重视实际语境的特点。近十几年来，其能力模型框架对外语教学及外语测试产生了深刻的影响[5]。特别对交际能力测试的开发、测试效度构念的设计及讨论起到了不可或缺的理论支撑作用。
1.2 口语测试设计、评价原则
Bachman和Palmer（1996）中指出，交际语言测试的设计与开发，应该首先考虑语言测试行为要与语言的实际使用情况相一致。即要考虑语言使用任务和情境的特征及测试任务和情境的特征，确保并证明测试任务与语言使用任务的一致。
Bachman指出考查实际语言运用水平的口语测试具有以下几个特点：（1）“信息沟”，让受试者通过各种馈入信息获得新信息；（2）测试任务或项目之间的关联性，后一项目基于前一个完成的项目进行；（3）测试需要针对性，根据受试者需求设计内容；（4）侧重更广泛地测试语言能力，包括语言知识、语言功能、语言使用的适切性等；（5）测试材料和任务项目贴近现实语言使用环境，要求提供语境并有真实性；（6）测试采用描述性评估方式，作为量化评估方式的补充。
口语测试就是考查考生在特定情景下适用外语完成交际目标的能力。该研究设计的测试任务从日语专业学生语言使用的现状出发，强调语境的真实性并馈入相应的信息沟，集中考查学生的语言知识、语言功能及语言交际使用能力。评分方法采用定量分值的评估原则，首先给任务完成度以及语言知识水平的测量赋予分值，其次通过量表分数的总和对测试成绩进行打分，对数据进行定量分析，观察评分者间一致性（信度），甄选任务课题，完善评分标准评分方法。 2 预测设计及考察
预测为测试前的准备测试，进行预测是确保测试能公正公平开展的重要保证，为测试提供科学合理的理论依据。参加该测试预测的被试者为9人，被试者为语言能力不一的高校日语专业4年级学生。预测实验选取了3个任务，每个任务下分为两个子任务课题。考官通过描述交际语言情境交待需要完成的任务之后请受试者进行口语表述，这一过程时间不做限制，并且考官不做任何引导和提示与任务课题相关内容。该次预测采用半封闭式测试，在测试前提前5 min告知考试情境及测试方式。半封闭式考试的优势在于，预先明确考试大致范围，能够发挥考试的导向功能，能够引导学生重视口语学习；此外，半封闭式测试时受试者有所准备，测试中能够快速应对，在人数较多的大、中规模的口语测试里更加节省时间提高效率，为测试的顺利展开创造条件[8]。测试时，备考人员在备考教室准备，按照抽签方式进入考场，考官为2名老师负责登记、测试、录音、维持秩序。
2.1 测试情境设计及评分量表的制订
任务课题包括三个情境内容，分别为医院（看病）、百货商店（售货）、教室（回答提问）3个环节。任务内容分别为（1）医院（看病）：①向医务人员咨询所需信息；②向医生描述病情。（2）百货商店（售货）：①服务用语，询问客人购物想法；②如何向客人推荐相符的商品。（3）教室（回答提问）：①平时使用智能手机做什么；②评价智能手机时代的优缺点。三个环节分别侧重交际语言情境中使用的社会语用能力、语用策略能力及个人意见陈述表达能力，其中①、②代表各个任务的子任务。
评分量表的评价标准[3]分为任务完成度、语言知识及使用正确性、话语的流畅性、发音语音语调的准确性4个部分，为使评分更加科学易操作，根据多名专业教师和专家建议拟定了标准答案，从标准答案中抽选出评分要点（具体内容如表2）进行打分。其中任务完成度为测试重点因此其分值权重最高，赋值在0～3.0之间。
2.2 评分者间信度
严格制定量表后考察此次口语测试的信度质量我们对2名评分者的分数通过皮尔逊积差相关进行相关分析，使用软件SPSS19。
表1显示了此次测试任务课题（1）、（2）、（3）的基本统计数据及相关系数。任务课题1与任务课题2，评分员D与L的相关系数分别为0.962、0.931，p<0.01在0.01的显著水平上呈正的高相关；任务课题3，评分员D与L的相关系数为0.718，与任务（1）、（2）相比稍显略低，在0.05的显著水平上呈正的中高相关。评分员D和L的信度都达到了统计意义上的中高相关，那么在统计分数时可以将评分员的分数相加取其平均数，为此提供科学的依据。高相关也证明了此次测试信度高，质量好，具有较高的可行性。
2.3 任务难度
Skehan（1998）认为语码复杂性、认知复杂性和交际压力造成任务难度的差异性。Skehan（1998）的任务认知难度框架得到了二语习得研究的实证支持，众多研究发现任务类型和任务难度影响口语表达的准确性[2]。这一难度框架在此次测试中如何体现，笔者将通过统计方法对任务课题（1）、（2）、（3）进行求证。
首先3.2中已证明评分员间具有中高信度，笔者获取3个任务的平均分，并重新计算基本统计量，如表2所示。
从表2中可以观察出任务（1）、（2）、（3）的标准差（SD），相对来说任务1为“2.6”分数离散最大，任务3为“1.8”离散最小，这3个任务的难度是否存在差异将通过单因素组内方差分析方法进行检验，使用软件SPSS19。
单因素组内方差分析结果显示，任务3与任务2的难度有显著差异（F（2，16）=4.90，P <0.05）。重复对比结果显示，任务（2）难度显著高于任务（3）的难度（MD=1.6），但是任务2与任务1的得分之间（MD=0.5）无显著差异（参考表3）。总体说来，任务1与任务2难度相当，而任务2难度明显高于任务3。
任务（1）场景为医院，任务2为百货商店扮演店员这两种情境与任务（3）在教室里始终保持学生身份不变的交际情境有很大距离，再次证明了在未知或陌生的情境中进行交际形成显性的交际压力影响语言的准确性和流利性，更重要的是极大影响了任务完成质量的测试特征（Skehan 1998）。此外，任务（1）和（2）需要具备的语言能力及社会语用能力、策略能力与任务3也有很大不同，这也是造成任务（1）、（2）与任务（3）存在难度差异的另一大原因。
通过任务难度差异分析将日后实施的测试任务题目编制为任务3为必考测试题，任务（1）、（2）为二选一测试题目，降低任务题目的数量为日后测试的执行、评测等展开工作提供了更好的条件。
3 结语
口语测试可以考察学生的口头表达能力、思维的逻辑性、语言思维及概括能力，还能在一定程度上反映学生的思维过程以及对所掌握知识的理解能力。该文通过一项口语测试的设计与开发，在似真性情境中选择任务课题围绕信度与效度展开探讨，对如何完善评分量表、保证评分者间信度、甄选任务课题进行了探索，为日语口语测试的开发提供了路径和设计框架。结果认为：口语测试的设计与开发的预测意义重大，其中保证评分者间信度是关键，任务难度是影响测试结果的最大因素，制订标准评分要点、完善评分量表等程序可以提高测试的评估效率。
参考文献
[1] LF Bachmcn，AS Palmer.Language Testing in Practice[M].England：University Press，1996：48.
[2] Foster P，Skehan p.The influence of planning and task type second language performance[J].Studies in Second Language Acquisition，1996（18）：299-323.
[3] 近藤ブラウン妃美.日本語教師のための評価入門[M].くろしお出版，2012.
[4] 董博，島田めぐみ.高校日语专业期末测试项目分析的基础研究[J].大连大学学报，2016（1）：118-125.
[5] 韩宝成.语言测试：理论、实践与发展[J].外语教学与研究，2000（1）：47-52.
[6] 谭晓晨，董荣月.任务类型和语言水平对英语专业大学生口语准确度和复杂度的影响[J].解放军外国语学院学报，2007（5）：54-58.
[7] 张新元.大学英语口语测试体系初探[J].外语测试与教学，2014（1）：42-51.
[8] 詹先君.大学英语口语测试的实证考察及分析[J].教育与考试，2008（2）：26-31.
关键词：交际语言测试 预测 评分量表 评分者间信度 任务课题
中图分类号：G64 文献标识码：A 文章编号：1672-3791（2016）08（a）-0115-03
Abstract： Oral test is difficult to be enforced due to lack of feasibility， high cost and low efficiency etc.， however， it is one important testing method which can directly examine usage abilities of second language of students as an effective language performance test. The article researches and develops one oral Japanese test under the theory of communicative language testing. It tries to offer D&R path and research framework for development of oral Japanese test through three matters as how to improve rating scales in the pretest， ensure reliability and select task topic.
Key Words：Communicative language testing； Pretest； Rating scale； Reliability； Task topic
近年来高校日语教学伴随着跨文化交际教学改革的深入推进，教学理念、教材编写、教学方法均发生了翻天覆地的变化。交际教学，尤其在拟真的交际情景中进行的口语课堂在大学日语教学中逐渐占领重要地位，然而与交际口语教学相比，口语测试的开发与编制的改革发展滞后。综观高校日语测试现状，往往多以纸笔测试方式对学生的语言能力进行测评，这种重信度而轻效度的测评方法不仅无法产生良好的反拨作用，亦不能科学准确地测评学习者日语交际能力（董博 島田，2016）。毋庸置疑，在似真性的情境中进行口语测试可以直接测试学生日语运用能力，解决当前日语专业测试效度低下的状况。然而口语测试由于操作性差（张新元 2014），效率低成本高，又因其多种可变不确定因素的干扰较难实施运作。其中任务因素、考官因素及评分标准不确定因素为口语测试中表现的三大矛盾。
正是因为这种难操作，易变化的测试特质，日语口语测试的开发研究在日语教学研究领域中属于少人问津的一片领地。该文不揣浅陋试通过实证研究方法研发设计一组真实性强的任务型口语测试，焦点集中在设计开发的预测阶段，在预测中重点考察评分者间信度、任务课题的甄选、评分量表的制订3个方面。通过探讨口语测试设计与开发程序，寻找口语测试中的信度、效度和可行性之间的平衡，对此研究领域提供借鉴及思考。
1 交际语言测试理论及口语测试设计、评价原则
1.1 交际语言测试理论综述
口试，从测试方式来看，属于直接测试，所测试的是语言的实际运用能力，亦即交际能力[7]。自20世纪60年代起各国学者们就进行着不懈的求知与探索，Hymes（1972）对Chomsky静态的语言观（语言能力、语言行为）提出了反驳和异议。他认为语言拥有社会文化性，在语言的传达能力中除了“语法能力”还包括了“社会语言能力”“策略能力”3个维度。Canal和Swain（1983）在Hymes（1972）的交际能力理论基础上，将理论进一步扩展，把“社会语言能力”细分为“语篇能力”和“社会语言能力”。进入20世纪90年代，Bachman（1990，1996）继承了Canal和Swain（1983）的观点提出了全新的交际语言能力模式，其能力模式的核心内容由知识及知识使用的能力构成，他认为知识使用的能力必然是在交际语境中运用语言的能力，重视语境的真实性，如何将语言知识转化为语言能力是交际能力中最重要的问题。
Bachman的交际语言能力理论模型在语言能力研究的历史上描绘了浓墨重彩的一笔，它与旧的模型相比具有重视实际语境的特点。近十几年来，其能力模型框架对外语教学及外语测试产生了深刻的影响[5]。特别对交际能力测试的开发、测试效度构念的设计及讨论起到了不可或缺的理论支撑作用。
1.2 口语测试设计、评价原则
Bachman和Palmer（1996）中指出，交际语言测试的设计与开发，应该首先考虑语言测试行为要与语言的实际使用情况相一致。即要考虑语言使用任务和情境的特征及测试任务和情境的特征，确保并证明测试任务与语言使用任务的一致。
Bachman指出考查实际语言运用水平的口语测试具有以下几个特点：（1）“信息沟”，让受试者通过各种馈入信息获得新信息；（2）测试任务或项目之间的关联性，后一项目基于前一个完成的项目进行；（3）测试需要针对性，根据受试者需求设计内容；（4）侧重更广泛地测试语言能力，包括语言知识、语言功能、语言使用的适切性等；（5）测试材料和任务项目贴近现实语言使用环境，要求提供语境并有真实性；（6）测试采用描述性评估方式，作为量化评估方式的补充。
口语测试就是考查考生在特定情景下适用外语完成交际目标的能力。该研究设计的测试任务从日语专业学生语言使用的现状出发，强调语境的真实性并馈入相应的信息沟，集中考查学生的语言知识、语言功能及语言交际使用能力。评分方法采用定量分值的评估原则，首先给任务完成度以及语言知识水平的测量赋予分值，其次通过量表分数的总和对测试成绩进行打分，对数据进行定量分析，观察评分者间一致性（信度），甄选任务课题，完善评分标准评分方法。 2 预测设计及考察
预测为测试前的准备测试，进行预测是确保测试能公正公平开展的重要保证，为测试提供科学合理的理论依据。参加该测试预测的被试者为9人，被试者为语言能力不一的高校日语专业4年级学生。预测实验选取了3个任务，每个任务下分为两个子任务课题。考官通过描述交际语言情境交待需要完成的任务之后请受试者进行口语表述，这一过程时间不做限制，并且考官不做任何引导和提示与任务课题相关内容。该次预测采用半封闭式测试，在测试前提前5 min告知考试情境及测试方式。半封闭式考试的优势在于，预先明确考试大致范围，能够发挥考试的导向功能，能够引导学生重视口语学习；此外，半封闭式测试时受试者有所准备，测试中能够快速应对，在人数较多的大、中规模的口语测试里更加节省时间提高效率，为测试的顺利展开创造条件[8]。测试时，备考人员在备考教室准备，按照抽签方式进入考场，考官为2名老师负责登记、测试、录音、维持秩序。
2.1 测试情境设计及评分量表的制订
任务课题包括三个情境内容，分别为医院（看病）、百货商店（售货）、教室（回答提问）3个环节。任务内容分别为（1）医院（看病）：①向医务人员咨询所需信息；②向医生描述病情。（2）百货商店（售货）：①服务用语，询问客人购物想法；②如何向客人推荐相符的商品。（3）教室（回答提问）：①平时使用智能手机做什么；②评价智能手机时代的优缺点。三个环节分别侧重交际语言情境中使用的社会语用能力、语用策略能力及个人意见陈述表达能力，其中①、②代表各个任务的子任务。
评分量表的评价标准[3]分为任务完成度、语言知识及使用正确性、话语的流畅性、发音语音语调的准确性4个部分，为使评分更加科学易操作，根据多名专业教师和专家建议拟定了标准答案，从标准答案中抽选出评分要点（具体内容如表2）进行打分。其中任务完成度为测试重点因此其分值权重最高，赋值在0～3.0之间。
2.2 评分者间信度
严格制定量表后考察此次口语测试的信度质量我们对2名评分者的分数通过皮尔逊积差相关进行相关分析，使用软件SPSS19。
表1显示了此次测试任务课题（1）、（2）、（3）的基本统计数据及相关系数。任务课题1与任务课题2，评分员D与L的相关系数分别为0.962、0.931，p<0.01在0.01的显著水平上呈正的高相关；任务课题3，评分员D与L的相关系数为0.718，与任务（1）、（2）相比稍显略低，在0.05的显著水平上呈正的中高相关。评分员D和L的信度都达到了统计意义上的中高相关，那么在统计分数时可以将评分员的分数相加取其平均数，为此提供科学的依据。高相关也证明了此次测试信度高，质量好，具有较高的可行性。
2.3 任务难度
Skehan（1998）认为语码复杂性、认知复杂性和交际压力造成任务难度的差异性。Skehan（1998）的任务认知难度框架得到了二语习得研究的实证支持，众多研究发现任务类型和任务难度影响口语表达的准确性[2]。这一难度框架在此次测试中如何体现，笔者将通过统计方法对任务课题（1）、（2）、（3）进行求证。
首先3.2中已证明评分员间具有中高信度，笔者获取3个任务的平均分，并重新计算基本统计量，如表2所示。
从表2中可以观察出任务（1）、（2）、（3）的标准差（SD），相对来说任务1为“2.6”分数离散最大，任务3为“1.8”离散最小，这3个任务的难度是否存在差异将通过单因素组内方差分析方法进行检验，使用软件SPSS19。
单因素组内方差分析结果显示，任务3与任务2的难度有显著差异（F（2，16）=4.90，P <0.05）。重复对比结果显示，任务（2）难度显著高于任务（3）的难度（MD=1.6），但是任务2与任务1的得分之间（MD=0.5）无显著差异（参考表3）。总体说来，任务1与任务2难度相当，而任务2难度明显高于任务3。
任务（1）场景为医院，任务2为百货商店扮演店员这两种情境与任务（3）在教室里始终保持学生身份不变的交际情境有很大距离，再次证明了在未知或陌生的情境中进行交际形成显性的交际压力影响语言的准确性和流利性，更重要的是极大影响了任务完成质量的测试特征（Skehan 1998）。此外，任务（1）和（2）需要具备的语言能力及社会语用能力、策略能力与任务3也有很大不同，这也是造成任务（1）、（2）与任务（3）存在难度差异的另一大原因。
通过任务难度差异分析将日后实施的测试任务题目编制为任务3为必考测试题，任务（1）、（2）为二选一测试题目，降低任务题目的数量为日后测试的执行、评测等展开工作提供了更好的条件。
3 结语
口语测试可以考察学生的口头表达能力、思维的逻辑性、语言思维及概括能力，还能在一定程度上反映学生的思维过程以及对所掌握知识的理解能力。该文通过一项口语测试的设计与开发，在似真性情境中选择任务课题围绕信度与效度展开探讨，对如何完善评分量表、保证评分者间信度、甄选任务课题进行了探索，为日语口语测试的开发提供了路径和设计框架。结果认为：口语测试的设计与开发的预测意义重大，其中保证评分者间信度是关键，任务难度是影响测试结果的最大因素，制订标准评分要点、完善评分量表等程序可以提高测试的评估效率。
参考文献
[1] LF Bachmcn，AS Palmer.Language Testing in Practice[M].England：University Press，1996：48.
[2] Foster P，Skehan p.The influence of planning and task type second language performance[J].Studies in Second Language Acquisition，1996（18）：299-323.
[3] 近藤ブラウン妃美.日本語教師のための評価入門[M].くろしお出版，2012.
[4] 董博，島田めぐみ.高校日语专业期末测试项目分析的基础研究[J].大连大学学报，2016（1）：118-125.
[5] 韩宝成.语言测试：理论、实践与发展[J].外语教学与研究，2000（1）：47-52.
[6] 谭晓晨，董荣月.任务类型和语言水平对英语专业大学生口语准确度和复杂度的影响[J].解放军外国语学院学报，2007（5）：54-58.
[7] 张新元.大学英语口语测试体系初探[J].外语测试与教学，2014（1）：42-51.
[8] 詹先君.大学英语口语测试的实证考察及分析[J].教育与考试，2008（2）：26-31.