从超考试效度看BCT写作测试

来源 :知识力量·教育理论与教学研究 | 被引量 : 0次 | 上传用户:Wangyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  [摘要]商务汉语考试(BCT)是由北京大学商务汉语考试研发办公室为测试第一语言非汉语者从事商务活动所应具有的汉语水平而研发设立的标准化测试。北京大学商务汉语考试(BCT)研发办公室通过与HSK考试的对比研究证明BCT听力理解和阅读理解信度、效度系数都具有较高的数值,李海燕则用概化理论证明了BCT口语测试信度。BCT的写作测试部分尚无相关研究,本文试从超考试效度来对BCT写作测试进行研究,并提出相应的建议以提高超考试效度。
  [关键词]商务汉语考试(BCT) 超考试效度 写作测试
  商务汉语考试BCT(以下简称BCT)是由北京大学商务汉语考试研发办公室为测试第一语言非汉语者从事商务活动所应具有的汉语水平而研发设立的标准化测试。该测试首次开考是2006年9月在新加坡,而大范围的正式考试则是2007年分别在中国国内、韩国、日本以及美国同时进行。
  一个新兴起的考试,它是否可信、有效,也就是测试的信度和效度,都需要进行验证。北京大学商务汉语考试(BCT)研发办公室鹿士义、李海燕在《BCT与HSK对比研究报告》中论证,BCT与HSK在听力理解和阅读理解方面有着高度相关,从而证明了BCT的信度和效度;李海燕也用概化理论证明了BCT 口语测试信度。但是对于BCT写作测试部分尚未见学者关注,本文试从超考试效度来对BCT写作测试进行研究,并提出相应的建议以提高超考试效度。
  一、BCT写作测试
  BCT考试由两个相对独立的考试组成,一个是听读考试,另一个是说写考试,而其中的写作部分就是本文要研究的主要对象。
  由于说写部分与听读部分可以单独接受报名参加测试,并分别发放等级证书,因而可以算做两个相对独立的子科目。从这个意义上说,对于只参加一项考试的受试者,要调研考试的信度和效度,两个考试部分应该分别计算。而说写部分因为要合并计算成绩,它们应该一起接受信度、效度检验。李海燕在《概化理论在BCT口语测试中的应用研究》一文中证明了BCT口语测试具有较高的信度,并提出了提高口语测试信度的方案。BCT写作测试目前缺乏研究。
  据《商务汉语考试大纲》描述,BCT写作的内容范围是商务活动或与商务有关的生活社交活动,每道题目以文字或图表的形式提供有关材料,并提出具体的要求;写作的文体以书信和比较短小的说明文、议论文为主。BCT的试卷本身不分级,它的写作部分共两道题。就目前已经测试过的题目来看,考试的两道题目,第一题通常给出一组数据,考生需要对数字进行对比分析;第二道题目通常要求考生以书信或报告的形式就某个问题表达歉意、陈述观点。这两个题目几乎成为固定的形式。
  二、研究的理论依据—超考试效度
  超考试效度是第三代语言测试体系的创造①,其依据是交际语言测试的超考试目的论。这些测试学家认为,从事语言测试,从一开始,就应当有一个超出考试的目的。②
  超考试效度主要包含两种效度,一是实效效度,二是反拨效度③,也称回向效度。实效效度主要是指受试者的测试结果是否能够满足某个工作的需要,比如得到BCT写作的某个分值以上的考生是否可以胜任前台接待的工作、某个分值以上是否可以胜任商务秘书的工作,等等;反拨效度是指考试对于教学是否具有适度的反拨效应,比如BCT测试是否有利于商务汉语教学的发展。
  关于超考试效度,虽然第二代语言测试体系用其缺乏客观数据支撑的理由而对其持反对态度,但是它对于考试方向的把握和对于教学的反拨确实存在重要的意义。另外,其客观数据也可以通过调查方式获得。笔者认为,一个新开发的、优秀的语言测试,必须考虑到考试的实效效度和反拨效度。
  三、BCT写作部分的超考试效度探讨
  要探讨BCT写作的超考试效度,可以分别从实效效度和反拨效度进行研究。实效效度数据可以从用人机构处调查获得,而反拨效度数据则要从培训机构处调查获得。但是我们在缺乏这些数据的情况下,仍然可以从测试题目本身进行比较恰当的推断。测试专家李筱菊说:“有一种观点认为,一个考试的最终价值,不在于它能用多少数据去证明,而在于它能否给人带来美好的、快乐的效果,有助于使人变得更完美。”④社会科学研究的某些方面虽然也需要量化研究,但是调查数据本身的偏差有时反而会给研究造成困难。
  我们可以从试题样本本身做出推测。下面是源自《商务汉语考试大纲》的样题(跟真实题目有极高的一致性):
  第一题:为了解人们穿西服的情况,某公司在1993年和2003年分别对某市的500名男性做了调查。
  调查中的一项是问这些男性主要在什么情况下穿西服。
  调查结果如下:
  请写一篇短文:
  ·说明这幅图; ·对1993年和2003年的情况作一个简要的比较。要求:100——150字。
  第二题:
  下面是你的同事给你的留言条:
  请你给东方百货公司采购部经理周齐平发一份传真:
  ·道歉;·解释原因;·提出具体的解决办法;要求:250字以上;使用书信体。
  从考试的内容效度来说,这些测试题目符合大纲的要求,具有较高的内容效度。而从反拨效度的角度观察,这些题目则还可以商榷。从题目可以推斷出,只要学会几个固定句式,就可以相对轻松地达到写作测试的要求。
  观察这两道题目,我们可以先抽出主要句式和关键词。
  第一题的句式和关键词大致为:
  时间+场合+穿西服+占/达到+百分比数字
  A比B提高/降低+百分比数字
  上面划线部分是题目要求比较的对象和比较的点,而这些都已经在题目中给出,所以不再成为考点。而剩余的结构则是几个相对稳定的比较句句式和简单的主谓结构。
  第二题的句式和关键词大致为:
  表达歉意的句式:非常抱歉……/致以诚恳的歉意   解释原因:由于……
  提出赔偿:按合同赔偿……
  可以看出,除了解释原因的项目相对比较开放,可以看出受试者的实际水平外,其他的两个部分都相对固化。
  而这样的测试题目,潜在的受试者只要在受试前经过短期的培训就可以达到考试要求,这可能有悖于测试初衷。当然,如果考试题目的类型足够多,涵盖的商务写作需求足够广泛,即使潜在的受试者参加了培训,那也正是我文中提及的反拨效应。而目前题目类型较为单一,留给受试者的发挥空间比较少。
  关于这一点,我们可以拿与BCT功用类似的商务英语考试BEC写作⑤进行对比。
  (一)首先,写作BEC写作与BCT写作形式和主体内容基本相同,但是BEC分类更加明晰。
  BEC初级:1、内部沟通(如便条、信息、Email等),内容主要为安排、歉意、请求允许、给予忠告;2、商务信函(如信件、传真、Email等),内容为歉意与弥补(赔偿)、预订或改变预订、处理请求、就某个产品给出信息。
  BEC中级1、短信息、留言、Email,给予忠告,解释发展,请求评论,询问信息,回复请求;2、商务信函、简短的报告或建议,前者内容关于解释、道歉、确认、抱怨,后者内容需要描述、总结。
  BEC高级1、一份报告、建议或者商务信函,报告需要描述、总结;信函需要解释、道歉、安慰、抱怨;建议需要描述、总结、推荐、说服。
  (二)BEC写作的题目指示更具开放性,因而更多地要求考生主动表达。下面三项分别是初、中、高级写作的样题:
  BEC初级1、你不久要去法兰克福参加一个工程展览,写一封邮件给你的助理:解释你为何外出;让她知道你外出的日期;说明你外出期间她需要做的工作。
  BEC初级2、
  阅读下面的求职信:从时代周刊上得知你们的招聘广告,我应聘培训助理这个职位。下个月我将和丈夫一同搬到公司所在的地区。你们将会从我附上的简历中看到,我有许多培训经验,所以很有信心得到这个职位。如果我有幸获得面试机会,您可以告诉我怎么通过公共交通到达公司吗?
  请你给求职者写一封回信:告知收到信件;提供面试的日期、时间;询问两个裁判的姓名和住址;告诉她到达你公司的最好的公共交通方式。
  BEC高级2:四选一作答
  其中之一:你的经理非常希望为你的公司引入两项措施,他要求你写一份报告,其中要包含你建议你公司采纳的来自于其他公司的这两项措施的具体内容
  写一份报告给你的经理,其中须包括如下信息:你如何青睐那家公司;你希望采纳哪两项措施;为何你的公司会从中受益。
  仔细分析一下以上题目就会发现,直接利用题目指示就可以完成写作要求的可能性极小,考生必须主动加工并按照自己掌握的知识合理推演才能完成写作要求。具体来看:
  BEC初级1中,考生必须将前两个要求按照句法合并加工,而第三个要求是开放性题目,考生必须自己给出工作安排;BEC初级2的告知收到来信算是固定格式,何日何时参加面试也算比较固定的句式,但给出两个裁判的名字则既考了“裁判”对这个词的认知又需要考生自己组织句子来证明,而交通方式的选择又是一种全新的表达方式。考生无法同过照抄题目指示来通过考试;BEC高级2的每一项要求都是开放的,对公司如何青睐、希望采纳的措施、公司预期受益,这些都需要考生主动表达,考生必须自己独立完成报告的写作。
  BEC的写作设计有一个显著特点:初级部分给予的提示内容较多,需要考生创造性写作的部分较少,句法结构比较简单;高级部分给予的提示较少,需要考生创造性写作的部分多,句法结构复杂很多。而BCT的两道题虽然也有指示多少差异,但差异不大;创造性写作的点不够多。再回国头去谈实效效度和反拨效度,一个能够考查出考生的实际写作水平的测试当然要比可以通过测试提示线索抄下来的测试有更高的实效效度;而一个需要认真准备所有的商务写作实用句型和所有相关词汇的测试,对于相应语言培训的反拨效度也要高于提示性线索多创造性写作少的测试。从这个角度来看,BCT写作测试还有许多的工作要做。
  现代管理学有一个非常重要的概念:目标管理⑥,而目标分解是实现成就感的重要方式。我们可以将这种观念引入语言测试。对于一个语言测试来说,如果能够将这个测试内容划分层级,则一方面可以实现考试在某個方面的实效效度;而另一方面,又因相应层级相对稳定,学习者可以逐级学习并在测试中得到肯定,从而增加了学习者的成就感,并进而引发学习兴趣,形成良性循环,从而提高了反拨效度。
  四、关于BCT写作的延伸探讨
  BCT写作目前面临的问题,有许多是BCT试卷不分级模式带来的。不分级模式致使试题难度跨度太大,导致对考生水平的测量相对粗糙,而写作部分的指示也因顾及到受试者的程度而被迫选择相对封闭的内容。
  BCT研发单位认为,考虑到现状,商务汉语考试尚处于起步阶段,参加考试的国家、人数基数都很小,分级考试将会增加测试成本。“考试研制应结合市场需求来进行,目前看市场尚无分三个等级考查这么细致的要求,因此,一个具有一定跨度的考试更符合社会的需要。”笔者认为,市场限制确实是可以理解的原因,目前所采用的方式也确实有存在的意义。
  然而,从另外一个角度看来,市场也需要培育。市场大小并不是固定的,经过市场培育阶段后,市场会扩大。就语言测试来说,它的市场主要指到底有多少人会有潜在的可能性参加测试,而与之伴生的则是考试培训的市场。任何测试的起步阶段都不会有太大的市场,因为了解的人少,认同的人少。而一个优秀的测试,它会快速越过这个阶段,因其可高效测试出考生的真正水平,而市场的培育包含两个方面,一个考生的认同,而通过考生表现出来的某个考试的较高的实效效度会赢得用人单位的认同,进而成为其招聘标准。用人单位的认同则会进一步提高该考试对考生的吸引力。而在此基础上,与之相应的考试培训市场也逐步扩大。BCT显然也要进行市场培育,如果囿于现状疏于培育,那么市场反而会有可能萎缩。   一般说来,选拔性的考试适用于一张试卷的模式,如我国的高考英语、TOFFEL、GRE,这些考试都有一些共同点:都是选拔性考试;受测者的水平都相对集中;都有认可其测试结果的使用组织。而覆盖性的考试则适用于分级模式,如剑桥商务英语证书考试(BEC)、日本的中国语检定考试,其考生覆蓋范围较广,高、中、低水平的考生都包括。
  就BCT来说,它应该是一个覆盖性的考试,从这个角度说,分级模式更具有现实意义。张晋军认为,考试研发要有前瞻性,还要考虑到性和推广性。随着中国实力的增长,汉语在世界范围内的影响会越来越大,商务汉语考试会有更大发展空间,用户对它的需求会逐渐更为细致。与其等待市场呼唤较为细致的需求,不如一开始便将基础打好。但是作为一项专业测试,它也不必有过细的分级,汉语目前尚不是强势语言,因此,汉语考试可能不宜单纯强调市场需求的粗略,而要注重其普及性、推广性。商务汉语考试如果考虑调整,分初级、中级、高级三份试卷考查可能是比较好的选择。
  关于BCT的最新进展,来源于2012年5月23日《中国日报网》的报道,有关部门正在积极改革该考试,新BCT可能降低考试难度。笔者认为,降低难度有可能会降低用人机构对这一考试的评价。建立分级考试模式是更加合适的选择。
  当然,分级模式下要做的工作还有很多,比如需要细化能力分级目标并据此制定更加详细的考生手册、教师手册等。更为重要的是,市场的培育需要潜在受试者和商务汉语培训人员更广泛的参与,而这些有赖于更加详细的能力分级目标等测试大纲。
  该研究是北京青年政治学院院级科研项目《商务汉语考试BCT与商务英语考试BEC的比较研究》成果的一部分。
  [注释]
  ①关于第三代语言测试体系的划分,源自Sposky 1975,他首先把近代语言测试史划分为三个阶段。
  ②见李筱菊《语言测试科学与艺术》p42
  ③实效效度和反拨效度是英国交际语言测试学家Morrow提出的,超考试效度是李筱菊的总结提炼。
  ④李筱菊《语言测试科学与艺术》p43
  ⑤以下关于BEC写作的题目内容和样题均来自BECHandbook for Teachers,University of Cambridge ESOL Examinations,笔者将相应部分翻译成汉语。
  ⑥核心观点出自德鲁克(Peter Drucker),1954,《管理实践》
  [参考文献]
  [1]中国国家汉语国际推广领导小组办公室、北京大学商务汉语考试研发办公室.《商务汉语考试大纲》,北京大学出版社,2006,8
  [2]鹿士义、李海燕.《BCT与HSK对比研究报告》,汉语教学学刊第四辑2008年
  [3]李海燕,《概化理论在BCT口语测试中的应用研究》
  [4]亓鲁霞,《语言测试的反拨效应理论与实证研究》,外语教学理论与实践( FLLTP) 2011年第4期
  [5]张晋军,《关于商务汉语考试分级问题的分析》,考试研究文集第5辑
  [6]李筱菊,《语言测试科学与艺术》,湖南教育出版社,1997
  [7]亓鲁霞,《考试对教学的反拨作用: 推动还是阻碍?》载董燕萍、王初明编,《中国的语言学研究与应用》,2001,上海外语教育出版社。
  [8]亓鲁霞,《意愿与现实: 中国高等院校统一招生英语考试的反拨作用研究》,2004,外语教学与研究出版社。
  [9]中国国家汉语国际推广领导小组办公室 北京大学商务汉语考试研发办公室.《商务汉语考试大纲》,北京大学出版社,2006,8
  [10]李晓琪商务汉语考试(BCT)的研发汉语教学学刊第四辑2008年
  [11]王芳,《特殊目的的语言测试与商务汉语考试》,汉语教学学刊第四辑2008年
  (作者单位:北京青年政治学院)
其他文献
[摘要]陶行知是我国伟大的教育家,他的教育理论及教育思想博大而精深,不仅在教育界闪耀着光芒,而且对进一步加强和改进高校思想政治理论课具有重要的指导意义。本文从增强大学生的使命感、坚持以人为本、注重学生自治和加强高校师资队伍建设等方面,谈谈认识。  [关键词]陶行知教育思想 思想政治理论课 教学  21世纪是知识经济时代,信息瞬息万变。然而陶行知先生的教育理论,发扬改革创新精神,立足于中国教育改革的
期刊
[摘要]道德素养的修为与法律意识的建立是相辅相成,共同约束的。笔者通过对两者的分析,发现中职生观念与法律意识存在的问题并针对存在的现状提出了建设性意见,即中职生应通过养成教育提升道德观念。  [关键词]中职生 道德教育 养成教育  随着教改进程的发展,中职教育的改革和创新,其迅速发展的进程也显露出了诸多弊端和不合理性。这种现象也同时体现在中职生道德教育与法律教育方面。本文将紧密结合中职生道德教育和
期刊
[摘要]应用Microsoft Power-Point、Adobe Photoshop等软件和技术制作免疫学多媒体课件,进行了广泛的实践和应用。本文对课件制作及应用过程中所得的经验及体会做一交流,论述多媒体给免疫教学带来的改观以及需要改进的问题。  [关键词]免疫学 多媒体 体会  [中图分类号]R392 [文献标识码]A  医学免疫学是生命科学的前沿学科,具有多边缘、多交叉的特点,并且被公认为是
期刊
[摘要]针对目前高职院校毕业生的情况,通过分析民航业及民航高职航空服务专业毕业生的现状,探讨其中存在的问题,提出一些合理性的对策,对毕业生有针对性地开展专业教育及就业指导工作,为企业提供合格的人才,进一步提高毕业生就业质量。  [关键词]民航高职 航空服务 就业现状 对策研究  一、民航高职类毕业生就业现状  高等教育大众化后,高职院校在我国高等教育体系中的地位越来越凸显,高职毕业生在高校毕业生中
期刊
[摘要]随着形势的变化,《中国近现代史纲要》课教学也需与时俱进。紧密联系时政,紧贴学生实际,创新教学教法,不断加强和改进《纲要》课教学,提高《纲要》课教学的针对性和实效性。  [关键词]《纲要》课教学 与时俱进 教学实效  《中国近现代史纲要》课程(以下简称《纲要》)自2005年列为高等学校本科生必修公共政治课以来,通过“主要讲授中国近代以来抵御外来侵略、争取民族独立、推翻反动统治、实现人民解放的
期刊
[摘要]钻探专业是应用性、实践性和操作性很强的专业,属于脑力和体力并用的艰苦职业。通过人才培养模式的转变,在专业实验教学过程中,不仅要培养学生掌握高超的职业技能和专业技艺,还要磨砺学生不畏艰辛、吃苦耐劳的精神与品质。  [关键词]钻探专业 基础技能实验 设计技能实验  由于钻探技术服务领域十分广泛,主要应用于建筑工程、地质找矿、地下水勘查和地质灾害预防治理等方面。在地质勘查施工过程中,对地下各种岩
期刊
[摘要]“凡事预则立,不预则废。”学生的学习也是一样。所以,培养学生的预习习惯和提高预习能力成了让学生学会学习,提高课堂教学效率的一个重要途径。因此,我们要在树立正确预习观念的前提下,教给学生科学的预习方法,进而通过各种有效的手段引导学生,以帮助他们逐渐养成良好的预习习惯,提高预习能力,为他们的终生学习和发展奠定扎实的基础。  [关键词]课前预习 预习指导 预习习惯  预习是学生主动性和自觉性的真
期刊
[摘要]本文根據“功能对等”理论,从四个方面论述新闻翻译中的“再创造”。文章认为,衡量一则新闻翻译是否成功要以译语读者的反应为依据,要看译文读者能否得到与原文读者大致相等的信息和感受。由于译语和原语语言形式结构不同,不同语言的人思维方式和阅读习惯各异,要使译文达到良好的传播效果,译者就必须发挥主观能动性,进行再创造。  [关键词]再创造 功能对等 传播效果  一、引言  新闻翻译,作为一种特殊的翻
期刊
[摘要]技工院校必须把学生思想政治教育摆在首要位置,贯穿于教育教学的全过程。迫切需要整体思考,创新理念,体现特色,注重实效。做到领导组织层梯化,教育目标个性化,内容上要体现生活化,教育形式多元化,教育理念主动化。  [关键词]职业院校 思想政治 教育 机制  中央《关于进一步加强和改进大学生思想政治教育的意见》提出了高校教育“育人为本、德育为先”的新的理念,明确要求必须把学生思想政治教育摆在首要位
期刊
[摘要]作为一名语文教师,在日常的教学实践中,就应该努力地培养学生的朗读水平,增强学生理解文章内容的能力。激发朗读兴趣;巧用朗读形式,注重朗读指导;用好朗读评价,提高朗读能力。  [关键词]激发兴趣 巧用形式 用好评价  《语文课程标准》强调“要充分地让学生在读中感悟,在读中培养语感,在读中受到情感的熏陶”。古人说的好:“读书百遍,其意自见。”因此,作为一名语文教师,在日常的教学实践中,就应该努力
期刊