论文部分内容阅读
摘 要：高职公共英语教学改革重要内容之一即提出高等职业英语测试。为了对高职英语教学质量进行宏、微观监控，使测试起到良好的测试反拨效应，成功开发网络版软件“高等职业英语测试统计分析系统”，提供测试后全面系统科学的数据统计分析结果，旨在语言测试视域下阐述该系统的设计实现及后续研究设想。
关键词：CACE测试 高等职业英语测试统计分析系统 设计 实现
中图分类号：G642 文献标识码：A 文章编号：1007-3973（2013）012-357-03
1 引言
广东省在充分顺应语言测试领域的新趋势果断采用先进科学测试手段的基础上率先推行计算机化高等职业英语测试（曾用强，2012），以期客观全面反映教改成效并有效监测改革后教学理念方法等的功效，起到良好的测试反拨效应（甘利，2012）。本研究的依据是英语语言测试理论（亓鲁霞，2011）。语言测试的实践是个系统工程。其中在考试总结阶段要做的，就是要从考试得出结果反馈。这里包括三步工作（李筱菊，2001）：评定分数、统计分析分数、解释分数。分数包括等级、名次或考试结果的其他表示形式。这三步工作，第一步是得出分数，即从受试者的答案行为中得出分数；第二步是计算分数，即把分数与分数之间（也就是受试者与受试者之间、受试群与受试群之间）、考试各部分之间等等关系整理清楚；第三步是解释分数，把分数所表征的是什么解释清楚，即说明分数与要测试的能力之间、所测试的各种能力之间、所测出的能力与所期望的能力之间等等的关系。CACE测试后需全面系统科学地得出精密的数据统计分析结果。但现有的全国全省大型考试中，考试机构在试后仅提供考试成绩或授予考试证书，没有数据统计分析结果展示平台。故本研究开发网络版软件“高等职业英语测试统计分析系统”以自动生成所有统计分析结果。本软件能提供所有考生听力、阅读、写作等职业能力的量化分析。教学管理者可宏观监控教学；教师和同行可相互切磋，有的放矢；受试者可获得关于自己学习情况的个性化信息反馈。
2 高等职业英语测试统计分析系统的设计实现
（1）笔者设计的“高等职业英语测试统计分析系统”的软件架构图，如图1所示。本软件由前台用户使用部分和后台数据库管理部分组成。以下仅述前台用户使用部分。
如图1所示，“高等职业英语测试统计分析系统”包括四个模块，即模块一“各院校成绩对比”、模块二“总成绩综述”、模块三“各专业类别（文理工商艺）成绩对比分析”和模块四“个人成绩分析”。四个模块分别下设若干子模块，实现相应功能，具体见图1。这四个模块分别成为四类用户的入口，分别向四类用户开放使用权限。四类用户即“教育厅和教指委领导”、“各学院主管”、“任课教师”、“学生”。借此软件，教育厅和教指委领导进入“各院校成绩对比”入口，可全面了解全省的考试汇总情况以及所有参加当次CACE考试的院校之间的各种比较情况；学院主管即某学院主管教学的院领导或教务处领导进入“总成绩综述”入口，可了解本校考试的总体情况以及和其他院校的比较和差距；任课教师进入“各专业类别（文理工商艺）成绩对比分析”入口，可了解自己所任课班级的考试情况以及与全校其他班的对比情况；学生进入“个人成绩分析”入口，可了解本人在本次考试中情况以及与本班或本校其他同学之间的比较和差距。此外，本软件还设有管理员入口，供管理员全面维持整个软件的正常运行和处理后台数据的操作。
（2）全程指导软件开发工作的软件架构图中，对应各功能的数学公式繁多，仅举模块一“各院校成绩对比”中比较所有院校的成绩需用到的单因素方差分析ANOVA公式为例，如表1所示。
（3）本软件的开发环境设计为：LAMPS（Linux+ Apache+MySQL+PHP+SVN）。开发框架是在基于Zend Framework 1.8 的三层MVC结构基础上进行开发的。开发工具软件包括UltraEdit，Dreamweaver。
（4）成功开发的网络版“高等职业英语测试统计分析系统”，登陆网站http：//ensys.gzlheng.com，即可访问。软件页面繁多，仅举一例以说明。如用户“教育厅和教指委领导”进入模块一“各院校成绩对比”，点击“比较所有院校的成绩”，可查看某次全省参加CACE考试的若干所学院的成绩是否存在差异性，如图2所示。
本软件可推广CACE测试后相关工作，用以分析试卷成绩统计。本研究分析与利用受试者由考试机构所组织的并按高职英语考试大纲要求所设计的CACE测试，综合检测高职英语教学效果。本项研究不仅为各受试学校受试者提供考试成绩，对全校甚至全省的高职公共英语质量进行科学量化的分析、跟踪与监控，还可对每位考生的英语具体技能如听力能力、阅读能力、写作能力及特殊职业能力等方面进行监控。学校（或省）主管通过此系统，可以查看出某校（全省）某系甚至某班某个学生某个教师量化的教学效果，从而可以对英语教学质量进行宏观的监控。各个系（部）对每个学生及教师进行微观监督，教师对每个学生有针对性施教，改进教学，提高整体英语水平。本软件是广东省内首创的基于语言测试理论研发出专门针对CACE测试的统计分析系统，在网站软件中移植并完善相关算法源代码，实现了网站系统自动生成与SPSS相同的相关性分析结果，可以对测试成绩进行全面系统分析。为高职英语教育提供了科学规范的评估测试系统。本测试分析系统，界面友好、操作简单、复用性强、易推广。本软件进行的数据统计分析结果将成为学生个人化的信息反馈获取的基本保障和理论来源。
3 后续研究设想
高级职业英语测试已在全省范围展开和普及。虽然教改课改成效显著，但为进一步充实和完善整套改革体系，使其日趋成熟并有效服务于当前高职英语教育改革发展之需，仍有后续研究空间。如，每位学习者还希望能经常获得关于自己学习情况的个人化信息反馈，譬如学习诊断报告，学习者图像描绘，学习进程路线图，成就报告等，又想随时得到基于个人不断变化情况的学习指导，譬如针对个人的辅导，材料或方法介绍，迄今学习的总结和往后学习的处方性意见等（李筱菊，2001：436）。但上文提到的“高等职业英语测试统计分析系统”虽实现了CACE测试后成绩统计分析展示平台的功能，却没能实现为学习者提供详细英语学习诊断报告的功能，仍无法满足新形势下对新测试应提供更多更具体更精确的关于考生知识和能力掌握信息的期待和要求。为实现英语学习诊断报告功能，笔者后续研究将致力于“高级职业英语测试诊断书”的研制。笔者设想将“高级职业英语测试诊断书”模块，设计为前文阐述的已成功开发的“高等职业英语测试统计分析系统”的第五个模块，即增设这一模块。访问权限向前四个模块的所有用户开放。 “高级职业英语测试诊断书”模块的研制主要是通过引入测试领域的最新研究成果和应用工具，即将诊断分类模型DCM（Diagnostic Classification Models）应用在英语听力、阅读及写作理论、教学以及考试信度与效度方面（陈芳，2011）。所有该类模型的目的都是为了将被试分类，并提供详细诊断信息，因此可以广泛应用于各领域。DCM的原理是直接计算每个考生掌握每项技能的概率，如将每道题所考查的技能点按Q矩阵排列，根据不同的假设选择相应的诊断模型，经过特定软件（Arpeggio，M-Plus）运算最后得出每个考生的详细诊断信息表，如哪些技能已掌握，哪些技能还未掌握，哪些技能因数据信息不足无法判断是否掌握。这种从测试结果中挖掘更多精准的反馈信息来指导教学和测试工作的方式，大副提高了测试的效度和效率，符合教育要高效节能的新趋势（甘利：2012）。
“高级职业英语测试诊断书”模块的研制大致分为两个阶段：（1）资料数据搜集准备阶段，包括诊断模型软件Arpeggio的获取；向测试命题组索要考题设计时的综合技能列表；鉴于理想的考点和学生实际运用的技能点有所出入，需要结合一些调查手段例如分析若干位学生的有声思维，参考几位专家的意见以及评估模型拟合度（goodness-of-fit）和相关参数。经反复调整，最终确定高级职业英语测试测量的所有技能并将这些技能点作Q矩阵分析汇总；现有的外语能力标准的搜集，确定10名将参加当年CACE测试的受试，建立考前和考后档案报告。（2）抽取当年参加CACE测试的1000份学生答卷，不含之前确定的10名受试，考生的回答和Q矩阵一起输入Arpeggio软件进行运算（陈芳，2011）。考生的回答同项目反应理论中一样赋值。正确的回答标为1，错误的回答标为0。对1000位考生答卷的分析决定了所有考题的相关参数，即考题难度、区分度等。基于这些参数，将10名受试的能力测量简化为数据代入，即将已获得的考题参数和这些学生的回答输入诊断分类模型的定义公式中，直接计算他们掌握每项能力的概率。最后得出个人报告样本，即10名被试的各项技能掌握程度的诊断书，然后通过对比这些被试的档案与被试的自我评价及对其老师的调查问卷结果，可以判断高级职业英语测试的诊断准确性。
4结语
本研究保证了对测试结果解读和使用的科学性严谨性，为今后类似大型考试的结果分析运用提供了参考范本，对学生CACE测试后的进一步学习指导工作发挥巨大的引导作用。教学管理者可对考试进行宏观监控，了解全局；教师可了解自己及同行所任班级学生的考试情况及教学反馈，学生可相应调整学习策略方法；能提高学生整体英语水平，为社会做出更大的贡献，更顺应时代的潮流和社会对高等职业英语的发展需要。笔者后续“高级职业英语测试诊断书”模块的研究成果可应用于CACE测试的命题、课改教改的各个环节，直接服务于测试对教学教改的良好反拨效应和教改课改的实效性，可直接检验教改课改是否达到应有的深度和效度。
（本文是笔者副主持的2009年广东省教育厅基金项目《高等职业英语》测试统计分析系统的研究与实践（Yyjg-2010-30）的部分研究成果。）
参考文献：
[1] 李筱菊.语言测试科学与艺术[M].长沙：湖南教育出版社，2001.
[2] 陈芳.诊断分类模型：测试领域的新工具[J].外语教学理论于实践，2011（02）.
[3] 甘利.语言测试视野下的高职英语教学现状和改革方向[J].中国成人教育，2012（20）.
[4] 曾用强.计算机化考试研究[M].北京：外语教学与研究出版社，2012.
[5] 亓鲁霞.考试风险与期望反拨效应之间的关系[J].外语测试与教学，2011（01）.
关键词：CACE测试 高等职业英语测试统计分析系统 设计 实现
中图分类号：G642 文献标识码：A 文章编号：1007-3973（2013）012-357-03
1 引言
广东省在充分顺应语言测试领域的新趋势果断采用先进科学测试手段的基础上率先推行计算机化高等职业英语测试（曾用强，2012），以期客观全面反映教改成效并有效监测改革后教学理念方法等的功效，起到良好的测试反拨效应（甘利，2012）。本研究的依据是英语语言测试理论（亓鲁霞，2011）。语言测试的实践是个系统工程。其中在考试总结阶段要做的，就是要从考试得出结果反馈。这里包括三步工作（李筱菊，2001）：评定分数、统计分析分数、解释分数。分数包括等级、名次或考试结果的其他表示形式。这三步工作，第一步是得出分数，即从受试者的答案行为中得出分数；第二步是计算分数，即把分数与分数之间（也就是受试者与受试者之间、受试群与受试群之间）、考试各部分之间等等关系整理清楚；第三步是解释分数，把分数所表征的是什么解释清楚，即说明分数与要测试的能力之间、所测试的各种能力之间、所测出的能力与所期望的能力之间等等的关系。CACE测试后需全面系统科学地得出精密的数据统计分析结果。但现有的全国全省大型考试中，考试机构在试后仅提供考试成绩或授予考试证书，没有数据统计分析结果展示平台。故本研究开发网络版软件“高等职业英语测试统计分析系统”以自动生成所有统计分析结果。本软件能提供所有考生听力、阅读、写作等职业能力的量化分析。教学管理者可宏观监控教学；教师和同行可相互切磋，有的放矢；受试者可获得关于自己学习情况的个性化信息反馈。
2 高等职业英语测试统计分析系统的设计实现
（1）笔者设计的“高等职业英语测试统计分析系统”的软件架构图，如图1所示。本软件由前台用户使用部分和后台数据库管理部分组成。以下仅述前台用户使用部分。
如图1所示，“高等职业英语测试统计分析系统”包括四个模块，即模块一“各院校成绩对比”、模块二“总成绩综述”、模块三“各专业类别（文理工商艺）成绩对比分析”和模块四“个人成绩分析”。四个模块分别下设若干子模块，实现相应功能，具体见图1。这四个模块分别成为四类用户的入口，分别向四类用户开放使用权限。四类用户即“教育厅和教指委领导”、“各学院主管”、“任课教师”、“学生”。借此软件，教育厅和教指委领导进入“各院校成绩对比”入口，可全面了解全省的考试汇总情况以及所有参加当次CACE考试的院校之间的各种比较情况；学院主管即某学院主管教学的院领导或教务处领导进入“总成绩综述”入口，可了解本校考试的总体情况以及和其他院校的比较和差距；任课教师进入“各专业类别（文理工商艺）成绩对比分析”入口，可了解自己所任课班级的考试情况以及与全校其他班的对比情况；学生进入“个人成绩分析”入口，可了解本人在本次考试中情况以及与本班或本校其他同学之间的比较和差距。此外，本软件还设有管理员入口，供管理员全面维持整个软件的正常运行和处理后台数据的操作。
（2）全程指导软件开发工作的软件架构图中，对应各功能的数学公式繁多，仅举模块一“各院校成绩对比”中比较所有院校的成绩需用到的单因素方差分析ANOVA公式为例，如表1所示。
（3）本软件的开发环境设计为：LAMPS（Linux+ Apache+MySQL+PHP+SVN）。开发框架是在基于Zend Framework 1.8 的三层MVC结构基础上进行开发的。开发工具软件包括UltraEdit，Dreamweaver。
（4）成功开发的网络版“高等职业英语测试统计分析系统”，登陆网站http：//ensys.gzlheng.com，即可访问。软件页面繁多，仅举一例以说明。如用户“教育厅和教指委领导”进入模块一“各院校成绩对比”，点击“比较所有院校的成绩”，可查看某次全省参加CACE考试的若干所学院的成绩是否存在差异性，如图2所示。
本软件可推广CACE测试后相关工作，用以分析试卷成绩统计。本研究分析与利用受试者由考试机构所组织的并按高职英语考试大纲要求所设计的CACE测试，综合检测高职英语教学效果。本项研究不仅为各受试学校受试者提供考试成绩，对全校甚至全省的高职公共英语质量进行科学量化的分析、跟踪与监控，还可对每位考生的英语具体技能如听力能力、阅读能力、写作能力及特殊职业能力等方面进行监控。学校（或省）主管通过此系统，可以查看出某校（全省）某系甚至某班某个学生某个教师量化的教学效果，从而可以对英语教学质量进行宏观的监控。各个系（部）对每个学生及教师进行微观监督，教师对每个学生有针对性施教，改进教学，提高整体英语水平。本软件是广东省内首创的基于语言测试理论研发出专门针对CACE测试的统计分析系统，在网站软件中移植并完善相关算法源代码，实现了网站系统自动生成与SPSS相同的相关性分析结果，可以对测试成绩进行全面系统分析。为高职英语教育提供了科学规范的评估测试系统。本测试分析系统，界面友好、操作简单、复用性强、易推广。本软件进行的数据统计分析结果将成为学生个人化的信息反馈获取的基本保障和理论来源。
3 后续研究设想
高级职业英语测试已在全省范围展开和普及。虽然教改课改成效显著，但为进一步充实和完善整套改革体系，使其日趋成熟并有效服务于当前高职英语教育改革发展之需，仍有后续研究空间。如，每位学习者还希望能经常获得关于自己学习情况的个人化信息反馈，譬如学习诊断报告，学习者图像描绘，学习进程路线图，成就报告等，又想随时得到基于个人不断变化情况的学习指导，譬如针对个人的辅导，材料或方法介绍，迄今学习的总结和往后学习的处方性意见等（李筱菊，2001：436）。但上文提到的“高等职业英语测试统计分析系统”虽实现了CACE测试后成绩统计分析展示平台的功能，却没能实现为学习者提供详细英语学习诊断报告的功能，仍无法满足新形势下对新测试应提供更多更具体更精确的关于考生知识和能力掌握信息的期待和要求。为实现英语学习诊断报告功能，笔者后续研究将致力于“高级职业英语测试诊断书”的研制。笔者设想将“高级职业英语测试诊断书”模块，设计为前文阐述的已成功开发的“高等职业英语测试统计分析系统”的第五个模块，即增设这一模块。访问权限向前四个模块的所有用户开放。 “高级职业英语测试诊断书”模块的研制主要是通过引入测试领域的最新研究成果和应用工具，即将诊断分类模型DCM（Diagnostic Classification Models）应用在英语听力、阅读及写作理论、教学以及考试信度与效度方面（陈芳，2011）。所有该类模型的目的都是为了将被试分类，并提供详细诊断信息，因此可以广泛应用于各领域。DCM的原理是直接计算每个考生掌握每项技能的概率，如将每道题所考查的技能点按Q矩阵排列，根据不同的假设选择相应的诊断模型，经过特定软件（Arpeggio，M-Plus）运算最后得出每个考生的详细诊断信息表，如哪些技能已掌握，哪些技能还未掌握，哪些技能因数据信息不足无法判断是否掌握。这种从测试结果中挖掘更多精准的反馈信息来指导教学和测试工作的方式，大副提高了测试的效度和效率，符合教育要高效节能的新趋势（甘利：2012）。
“高级职业英语测试诊断书”模块的研制大致分为两个阶段：（1）资料数据搜集准备阶段，包括诊断模型软件Arpeggio的获取；向测试命题组索要考题设计时的综合技能列表；鉴于理想的考点和学生实际运用的技能点有所出入，需要结合一些调查手段例如分析若干位学生的有声思维，参考几位专家的意见以及评估模型拟合度（goodness-of-fit）和相关参数。经反复调整，最终确定高级职业英语测试测量的所有技能并将这些技能点作Q矩阵分析汇总；现有的外语能力标准的搜集，确定10名将参加当年CACE测试的受试，建立考前和考后档案报告。（2）抽取当年参加CACE测试的1000份学生答卷，不含之前确定的10名受试，考生的回答和Q矩阵一起输入Arpeggio软件进行运算（陈芳，2011）。考生的回答同项目反应理论中一样赋值。正确的回答标为1，错误的回答标为0。对1000位考生答卷的分析决定了所有考题的相关参数，即考题难度、区分度等。基于这些参数，将10名受试的能力测量简化为数据代入，即将已获得的考题参数和这些学生的回答输入诊断分类模型的定义公式中，直接计算他们掌握每项能力的概率。最后得出个人报告样本，即10名被试的各项技能掌握程度的诊断书，然后通过对比这些被试的档案与被试的自我评价及对其老师的调查问卷结果，可以判断高级职业英语测试的诊断准确性。
4结语
本研究保证了对测试结果解读和使用的科学性严谨性，为今后类似大型考试的结果分析运用提供了参考范本，对学生CACE测试后的进一步学习指导工作发挥巨大的引导作用。教学管理者可对考试进行宏观监控，了解全局；教师可了解自己及同行所任班级学生的考试情况及教学反馈，学生可相应调整学习策略方法；能提高学生整体英语水平，为社会做出更大的贡献，更顺应时代的潮流和社会对高等职业英语的发展需要。笔者后续“高级职业英语测试诊断书”模块的研究成果可应用于CACE测试的命题、课改教改的各个环节，直接服务于测试对教学教改的良好反拨效应和教改课改的实效性，可直接检验教改课改是否达到应有的深度和效度。
（本文是笔者副主持的2009年广东省教育厅基金项目《高等职业英语》测试统计分析系统的研究与实践（Yyjg-2010-30）的部分研究成果。）
参考文献：
[1] 李筱菊.语言测试科学与艺术[M].长沙：湖南教育出版社，2001.
[2] 陈芳.诊断分类模型：测试领域的新工具[J].外语教学理论于实践，2011（02）.
[3] 甘利.语言测试视野下的高职英语教学现状和改革方向[J].中国成人教育，2012（20）.
[4] 曾用强.计算机化考试研究[M].北京：外语教学与研究出版社，2012.
[5] 亓鲁霞.考试风险与期望反拨效应之间的关系[J].外语测试与教学，2011（01）.