论文部分内容阅读
摘要：在职业技能鉴定中，研究和运用“职业技能鉴定操作评测系统”，形成统一的评分标准和评分体系以及统一的评价体系，能够在技能鉴定操作考核的考评工作中减少由于考评员对标准掌握程度不同带来的评分差异，提高评测的准确度和公平性，在操作考核的考评中有很强的实用性和现实意义。
关键词：职业技能鉴定；操作考核；评测系统
作者简介：赵凯峰（1976-），男，吉林松原人，江苏省电力公司徐州供电公司，工程师，企业培训师；陈铮（1968-），男，江苏南通人，江苏省电力公司徐州供电公司，工程师。（江苏 徐州 221003）
基金项目：本文系2011年江苏省电力公司科技项目“技能鉴定操作考核自动评测模式及方法的研究”（项目编号：J2011021）的研究成果。
中图分类号：G726?????文献标识码：A?????文章编号：1007-0079（2012）30-0031-02
关于职业技能操作考核的评测系统在2000年左右国内已经有人提出相关概念，但截至目前国内使用的操作考核评测系统大都是与某操作仿真系统结合在一起。例如电力行业中与变电仿真系统结合在一起的变电站值班员操作评分系统，此类评测系统功能单一，只能判断操作人员的操作内容是否正确，无法反映熟练程度及各个操作步骤之间的逻辑关联和分值比例，不具备评语和知识点的管理功能并且不能脱离仿真系统单独使用，不能适用于技能鉴定考核。
目前职业技能鉴定实操的考核方式是在考核中使用人工在评分表中打分的方法，考评过程中一般由三个或几个考评员根据表中各项分值和考生操作结果进行给分，每个考评员各自在评分表中打分，考评标准只能依靠考评员自己掌握，不同考评员对评分标准的掌握程度不同，可能导致不同考生间评分标准不一致，不同考评员间评分标准不一致，同样成绩的考生给出的评语差异很大。而且在考评中不能排除考评员给分未按照分值标准给分或计算总分时的计算错误。最后的评语由考评员人工书写，考评员语言文字的组织方式和能力对评语有着很大影响。考评员对于不同考生之间的评语标准也不好掌握。
为了解决以上问题，要进行关于技能鉴定操作考核自动评测模式及方法的研究，此项研究能够建立一个技能鉴定操作考核题库平台，并建立统一的评分标准和体系以及统一的评语，提供自动评分及给出评语功能，能够最大限度减少考核中考评员人为带来的差异，此项目的研究将填补国内对于操作题目自动评测方面的空白。
一、总体解决方案
1.研究职业技能鉴定操作考核评测流程，提出标准化管理方案
在现有职业技能鉴定操作考核方案及工作流程基础上制定出一套适合自动评测系统的管理方案及考核评测流程，主要包含考核评测流程中各个工作节点的设置、每个节点用户及用户权限的设置、流程中数据流的设置、标准化归档数据的格式。考评流程主要包括考生抽题、考试开始、操作中考评员记录、考试结束、汇总成绩（给出评语）、数据归档五个阶段。用户分为考评员、考评员组长、鉴定管理人员和系统管理员四大类。最后归档数据以数据库形式保存，但可以打印成评分表式的文档资料。根据评测流程提出技能鉴定考核管理方案，主要包括题目管理、考评管理、数据管理三个方面内容，对每一方面要从管理原则、管理目标、管理方法等角度阐述。管理方法要能够和鉴定实际工作紧密结合。题目管理方案中讲述对应工种的题目种类、题目数量、题目覆盖范围、出题依据、题目级别；考评管理方案中主要讲述考评方式、考评员聘请、考评方案、考评分数设置、考评纪律等；数据管理方案主要讲述单个考生资料数据、考评记录数据、上报数据、汇总数据等内容。
2.整理形成专业操作题目库和鉴定评语库
根据近年来电力行业职业技能鉴定考核题目和鉴定结果，参考生产技能专家和考评员的意见，整理形成部分职业工种的操作题库和鉴定评语库。对题目进行职业鉴定等级分类，题目设计要遵循各个工种和鉴定等级的鉴定规范，涵盖工种的主要操作技能。题目库中包含题干表、标准答案表。题干表中主要有“题目序号”、“题目内容”、“工种类别”、“题目等级”等字段，标准答案表有“题目序号”、“操作序号”、“操作步骤内容”等字段，上述两表由专家按照规范和规定填写上述字段内容。
设计评语标准结构和评语库。鉴定评语库中包含总况评语子句（例如：“熟练掌握××技能”等）、细节评语子句（例如：“操作票书写正确“或”对母差保护操不熟练”等）、总结评语子句（例如：“符合变电站值班员技师技能操作考核要求”等）。在评语库中设计总况评语表、细节评语表、总结评语表三个数据表。总况评语子句主要是反映考生对基本技能的掌握情况，可以用“基本掌握××技能”、“掌握××技能”、“熟悉掌握××技能”、“对××技能没有掌握”等语句，细节评语设计要将评语子句与考核点（操作步骤）对应起来，主要是反映对某项操作内容的熟悉程度，总结评语是对考生是否符合所报等级的条件进行最终评价。
3.研究考核点和评分标准内容及相互关系，建立考核知识点及对应的评分标准、评分参考和考核知识点之间的逻辑关系
根据职业技能鉴定操作评分标准对题库中题目进行考核点分析，并对评分标准进行细化，原有的评分标准有很多部分是通用标准，并没有提供对某个题目每个具体操作步骤的具体评分方案，此次研究要确定题目库中每个题目标准答案中每个操作步骤是否作为考核点。如果作为考核点，则确定每个考核点的分值范围。分值要体现考生对本项操作的正确度和熟悉程度，对“不正确”、“基本正确”、“正确且熟练”等各个等级给予不同分值。
研究如何确立考核点之间的逻辑关系。逻辑关系主要包括：考核点之间的先后关系或并列关系；考核点对本次操作的否决关系。根据评分标准对每个考核点给定具体分值，确立考核点给分标准，指定具有否决条件的操作步骤。
4.研究对鉴定进行自动评分及形成鉴定评语的方法
使用计算机数据库和数据结构方法实现考核点评分标准、各个考核点之间及考核点与评语之间的关系，通过识别各个考核点之间的关系并根据考核点评分标准自动给出考核总分。评分过程中计算机首先根据考评员所选内容判断本步操作是否正确，如不正确则此操作的后续操作分数一并扣除，如为否决项则扣至及格线以下分数。如正确则判断此操作后续操作，将此操作所有后续操作核对完毕后检查此操作的并列操作步骤。整个过程是通过数据结构中对树型结构递归遍历的方式核对所有操作步骤，核对每一步操作时要根据考评员给出操作步骤的正确与否与熟练程度给出不同分值。 在核对操作步骤结束后，通过识别考核点与评语之间的关系并依据评语标准结构和分值自动选出鉴定评语。鉴定评语要反映对应工种等级要求的基本技能掌握情况（总况评语）、主要优点和不足之处（细节评语）、是否符合鉴定的要求（总结评语）等。（例如：变电站值班员在操作任务中90%以上的操作步骤评测都是“正确且熟练”，且没有否决项出现，总分在85分以上，则总况评语给出“熟练掌握变电站设备及操作技能”；如每次操作二次设备都是“正确且熟练”，则评语中给出对应的“对二次设备操作熟练”语句；如在操作中的防误措施上考生在部分考核点得到的评测是“基本正确”，则在给出评语中应对应“防误措施熟练程度不够”等；如果出现具有否决项属性的考核点未操作或被评测为“不正确”，评语则直接对应“出现严重误操作或漏项”，不需其他细节评语；如果总分为不及格，则总结评语对应“不符合变电站值班员技师技能要求”等。）为了能够实现自动评语功能，要根据鉴定规范和标准确定评语中每个子句对应的考核点，建立考核点与评语子句之间的对应关系。主要包括每个考核点与总况评语子句之间的关系、每个考核点与细节评语子句之间的关系、具有否决项考核点和总分与总结评语之间的关系。对评语库中的细节评语表进行拆分，将通用词语组成通用子句库，例如：“基本正确”、“正确”、“正确且熟练”、“很熟练”、“有不正确地方”、“有部分遗漏”。将评语类别（操作类别）组成评语类别库，例如“二次设备操作”、“一次设备操作”、“防误措施”、“设备巡视”等需要在标准答案表中添加“评语类别”字段，给每步操作都对应相应的评语类别。
系统自动评分结束后计算机将此次操作任务的评分情况保存在数据库中，评分情况要包括考生情况、操作时间、操作任务、操作步骤、操作步骤得分、总得分、评语、考评员等信息，并且根据评分情况能够生成详细的评分表（可打印）。
5.研究建立各考核点对应的支撑知识库
对职业工种的题目进行分析，对某些考核点对应的知识或原理进行整理形成知识库。知识库内容以数据库形式存储，其内容主要是操作考核点中的原理或理论依据。知识数据库中可以存储必要的图形和图片，同时建立知识库中知识点与考核点的对应关系。知识库中的内容通过专家和考评员审核，确定知识点的内容和对应的鉴定等级。对某个考核点可以对应多个知识库中的内容，知识库在计算机平台中实现需建立两张数据表：第一是知识表，其中包含知识点序号、知识点内容、知识点工种、知识点等级四个字段的内容；第二是对应表，包含知识点序号和考核点序号两个字段表，用来建立知识点和考核点之间的关系。
二、系统功能
结合职业技能鉴定工作的特点，此系统主要有四项功能。
1.题库和知识库及评语库管理功能
主要是用于题目和知识点及评语的编辑。提供编辑知识点与考核点关系的功能；提供编辑评语子句与考核点关系的功能；提供根据工种和鉴定等级随机抽取鉴定题目的功能；提供选择知识库内容组卷并打印出口试试卷或笔试试卷的功能。
2.评分标准和策略的设置功能
主要为用户提供编辑题目各个考核点评分标准及设置逻辑关系的功能。用户能够在客户端界面中给定某个操作步骤（考核点）不同程度对应的分值，能够在界面设置标准答案中操作步骤之间的逻辑关系以及设定否决项目。
3.考评评分功能
主要是为考评员提供在考核现场实时评测的功能。考评员根据考生操作过程，在系统评分界面中选择对应条目是否正确和熟练程度，无需人为给出分数。系统根据考评员选择的条目的内容进行自动评分。系统记录每个考核点得分情况，并计算总分，根据总分和考核点评测情况，自动组成考核评语。
4.鉴定资料归档功能
主要是根据鉴定规范和方案要求将考生考核资料、成绩进行归档，归档之后资料将不能修改，并且所存资料能够导出标准文档格式或直接以标准格式进行打印。每个考评员对某个考生某项操作任务的考评记录能够以考评表形式打印。
三、系统主要特点
就系统本身而言，它不仅仅是一般的管理系统，而侧重点是在分析方法和预警处理方面，因此，该系统的需求起点较高，实现目标要求亦高。具有以下特点：
1.应用范围广泛
在各职业技能鉴定中心及教培中心均可应用，可以应用于职业技能鉴定的实操考核，也可以应用于技术比武。
2.工种适用性强
目前应用于电力行业职业技能鉴定考核工作，并支持工种类别的无限扩展。
3.业务处理标准规范
系统符合《江苏省电力公司电力通信资源命名规范》的要求，遵循《江苏省电力行业变电站值班员职业技能鉴定考核评分标准》、《江苏省电力行业变压器检修工职业技能鉴定考核评分标准》。
4.考评信息处理流程化
考生、考评员及考评组长之间职责、权限划分明确。
四、结束语
“职业技能鉴定自动评测流程管控系统”的开发过程中使用了微软公司.NetFramework平台软件开发工具VisualStudio2010、大型关系数据库SqlServer2005等工具。在实际开发中对于以上工具有了更深层次的认识，同时逐渐形成了自身的开发风格，建立起了完善的系统界面模版。
目前系统已经经过了严格的功能测试，调试和测试过程中在服务器配置和故障处理等方面积累了大量经验。为了提高系统应用效率，对全部代码进行了充分的优化，对于SQL语句的编写和应用更加娴熟，为以后的开发工作和系统升级奠定了坚实的软、硬件基础。在今后的工作中会继续总结经验、完善方法，为“职业技能鉴定自动评测流程管控系统”的应用和维护提供优质高效的技术保障。
“职业技能鉴定自动评测流程管控系统”的应用必将有助于改进技能鉴定工作的评分手段，在技能鉴定操作考核中使用此平台能够节省大约20%的考评工作量，并且能够提高评测的准确度和公平性。
（责任编辑：王祝萍）
关键词：职业技能鉴定；操作考核；评测系统
作者简介：赵凯峰（1976-），男，吉林松原人，江苏省电力公司徐州供电公司，工程师，企业培训师；陈铮（1968-），男，江苏南通人，江苏省电力公司徐州供电公司，工程师。（江苏 徐州 221003）
基金项目：本文系2011年江苏省电力公司科技项目“技能鉴定操作考核自动评测模式及方法的研究”（项目编号：J2011021）的研究成果。
中图分类号：G726?????文献标识码：A?????文章编号：1007-0079（2012）30-0031-02
关于职业技能操作考核的评测系统在2000年左右国内已经有人提出相关概念，但截至目前国内使用的操作考核评测系统大都是与某操作仿真系统结合在一起。例如电力行业中与变电仿真系统结合在一起的变电站值班员操作评分系统，此类评测系统功能单一，只能判断操作人员的操作内容是否正确，无法反映熟练程度及各个操作步骤之间的逻辑关联和分值比例，不具备评语和知识点的管理功能并且不能脱离仿真系统单独使用，不能适用于技能鉴定考核。
目前职业技能鉴定实操的考核方式是在考核中使用人工在评分表中打分的方法，考评过程中一般由三个或几个考评员根据表中各项分值和考生操作结果进行给分，每个考评员各自在评分表中打分，考评标准只能依靠考评员自己掌握，不同考评员对评分标准的掌握程度不同，可能导致不同考生间评分标准不一致，不同考评员间评分标准不一致，同样成绩的考生给出的评语差异很大。而且在考评中不能排除考评员给分未按照分值标准给分或计算总分时的计算错误。最后的评语由考评员人工书写，考评员语言文字的组织方式和能力对评语有着很大影响。考评员对于不同考生之间的评语标准也不好掌握。
为了解决以上问题，要进行关于技能鉴定操作考核自动评测模式及方法的研究，此项研究能够建立一个技能鉴定操作考核题库平台，并建立统一的评分标准和体系以及统一的评语，提供自动评分及给出评语功能，能够最大限度减少考核中考评员人为带来的差异，此项目的研究将填补国内对于操作题目自动评测方面的空白。
一、总体解决方案
1.研究职业技能鉴定操作考核评测流程，提出标准化管理方案
在现有职业技能鉴定操作考核方案及工作流程基础上制定出一套适合自动评测系统的管理方案及考核评测流程，主要包含考核评测流程中各个工作节点的设置、每个节点用户及用户权限的设置、流程中数据流的设置、标准化归档数据的格式。考评流程主要包括考生抽题、考试开始、操作中考评员记录、考试结束、汇总成绩（给出评语）、数据归档五个阶段。用户分为考评员、考评员组长、鉴定管理人员和系统管理员四大类。最后归档数据以数据库形式保存，但可以打印成评分表式的文档资料。根据评测流程提出技能鉴定考核管理方案，主要包括题目管理、考评管理、数据管理三个方面内容，对每一方面要从管理原则、管理目标、管理方法等角度阐述。管理方法要能够和鉴定实际工作紧密结合。题目管理方案中讲述对应工种的题目种类、题目数量、题目覆盖范围、出题依据、题目级别；考评管理方案中主要讲述考评方式、考评员聘请、考评方案、考评分数设置、考评纪律等；数据管理方案主要讲述单个考生资料数据、考评记录数据、上报数据、汇总数据等内容。
2.整理形成专业操作题目库和鉴定评语库
根据近年来电力行业职业技能鉴定考核题目和鉴定结果，参考生产技能专家和考评员的意见，整理形成部分职业工种的操作题库和鉴定评语库。对题目进行职业鉴定等级分类，题目设计要遵循各个工种和鉴定等级的鉴定规范，涵盖工种的主要操作技能。题目库中包含题干表、标准答案表。题干表中主要有“题目序号”、“题目内容”、“工种类别”、“题目等级”等字段，标准答案表有“题目序号”、“操作序号”、“操作步骤内容”等字段，上述两表由专家按照规范和规定填写上述字段内容。
设计评语标准结构和评语库。鉴定评语库中包含总况评语子句（例如：“熟练掌握××技能”等）、细节评语子句（例如：“操作票书写正确“或”对母差保护操不熟练”等）、总结评语子句（例如：“符合变电站值班员技师技能操作考核要求”等）。在评语库中设计总况评语表、细节评语表、总结评语表三个数据表。总况评语子句主要是反映考生对基本技能的掌握情况，可以用“基本掌握××技能”、“掌握××技能”、“熟悉掌握××技能”、“对××技能没有掌握”等语句，细节评语设计要将评语子句与考核点（操作步骤）对应起来，主要是反映对某项操作内容的熟悉程度，总结评语是对考生是否符合所报等级的条件进行最终评价。
3.研究考核点和评分标准内容及相互关系，建立考核知识点及对应的评分标准、评分参考和考核知识点之间的逻辑关系
根据职业技能鉴定操作评分标准对题库中题目进行考核点分析，并对评分标准进行细化，原有的评分标准有很多部分是通用标准，并没有提供对某个题目每个具体操作步骤的具体评分方案，此次研究要确定题目库中每个题目标准答案中每个操作步骤是否作为考核点。如果作为考核点，则确定每个考核点的分值范围。分值要体现考生对本项操作的正确度和熟悉程度，对“不正确”、“基本正确”、“正确且熟练”等各个等级给予不同分值。
研究如何确立考核点之间的逻辑关系。逻辑关系主要包括：考核点之间的先后关系或并列关系；考核点对本次操作的否决关系。根据评分标准对每个考核点给定具体分值，确立考核点给分标准，指定具有否决条件的操作步骤。
4.研究对鉴定进行自动评分及形成鉴定评语的方法
使用计算机数据库和数据结构方法实现考核点评分标准、各个考核点之间及考核点与评语之间的关系，通过识别各个考核点之间的关系并根据考核点评分标准自动给出考核总分。评分过程中计算机首先根据考评员所选内容判断本步操作是否正确，如不正确则此操作的后续操作分数一并扣除，如为否决项则扣至及格线以下分数。如正确则判断此操作后续操作，将此操作所有后续操作核对完毕后检查此操作的并列操作步骤。整个过程是通过数据结构中对树型结构递归遍历的方式核对所有操作步骤，核对每一步操作时要根据考评员给出操作步骤的正确与否与熟练程度给出不同分值。 在核对操作步骤结束后，通过识别考核点与评语之间的关系并依据评语标准结构和分值自动选出鉴定评语。鉴定评语要反映对应工种等级要求的基本技能掌握情况（总况评语）、主要优点和不足之处（细节评语）、是否符合鉴定的要求（总结评语）等。（例如：变电站值班员在操作任务中90%以上的操作步骤评测都是“正确且熟练”，且没有否决项出现，总分在85分以上，则总况评语给出“熟练掌握变电站设备及操作技能”；如每次操作二次设备都是“正确且熟练”，则评语中给出对应的“对二次设备操作熟练”语句；如在操作中的防误措施上考生在部分考核点得到的评测是“基本正确”，则在给出评语中应对应“防误措施熟练程度不够”等；如果出现具有否决项属性的考核点未操作或被评测为“不正确”，评语则直接对应“出现严重误操作或漏项”，不需其他细节评语；如果总分为不及格，则总结评语对应“不符合变电站值班员技师技能要求”等。）为了能够实现自动评语功能，要根据鉴定规范和标准确定评语中每个子句对应的考核点，建立考核点与评语子句之间的对应关系。主要包括每个考核点与总况评语子句之间的关系、每个考核点与细节评语子句之间的关系、具有否决项考核点和总分与总结评语之间的关系。对评语库中的细节评语表进行拆分，将通用词语组成通用子句库，例如：“基本正确”、“正确”、“正确且熟练”、“很熟练”、“有不正确地方”、“有部分遗漏”。将评语类别（操作类别）组成评语类别库，例如“二次设备操作”、“一次设备操作”、“防误措施”、“设备巡视”等需要在标准答案表中添加“评语类别”字段，给每步操作都对应相应的评语类别。
系统自动评分结束后计算机将此次操作任务的评分情况保存在数据库中，评分情况要包括考生情况、操作时间、操作任务、操作步骤、操作步骤得分、总得分、评语、考评员等信息，并且根据评分情况能够生成详细的评分表（可打印）。
5.研究建立各考核点对应的支撑知识库
对职业工种的题目进行分析，对某些考核点对应的知识或原理进行整理形成知识库。知识库内容以数据库形式存储，其内容主要是操作考核点中的原理或理论依据。知识数据库中可以存储必要的图形和图片，同时建立知识库中知识点与考核点的对应关系。知识库中的内容通过专家和考评员审核，确定知识点的内容和对应的鉴定等级。对某个考核点可以对应多个知识库中的内容，知识库在计算机平台中实现需建立两张数据表：第一是知识表，其中包含知识点序号、知识点内容、知识点工种、知识点等级四个字段的内容；第二是对应表，包含知识点序号和考核点序号两个字段表，用来建立知识点和考核点之间的关系。
二、系统功能
结合职业技能鉴定工作的特点，此系统主要有四项功能。
1.题库和知识库及评语库管理功能
主要是用于题目和知识点及评语的编辑。提供编辑知识点与考核点关系的功能；提供编辑评语子句与考核点关系的功能；提供根据工种和鉴定等级随机抽取鉴定题目的功能；提供选择知识库内容组卷并打印出口试试卷或笔试试卷的功能。
2.评分标准和策略的设置功能
主要为用户提供编辑题目各个考核点评分标准及设置逻辑关系的功能。用户能够在客户端界面中给定某个操作步骤（考核点）不同程度对应的分值，能够在界面设置标准答案中操作步骤之间的逻辑关系以及设定否决项目。
3.考评评分功能
主要是为考评员提供在考核现场实时评测的功能。考评员根据考生操作过程，在系统评分界面中选择对应条目是否正确和熟练程度，无需人为给出分数。系统根据考评员选择的条目的内容进行自动评分。系统记录每个考核点得分情况，并计算总分，根据总分和考核点评测情况，自动组成考核评语。
4.鉴定资料归档功能
主要是根据鉴定规范和方案要求将考生考核资料、成绩进行归档，归档之后资料将不能修改，并且所存资料能够导出标准文档格式或直接以标准格式进行打印。每个考评员对某个考生某项操作任务的考评记录能够以考评表形式打印。
三、系统主要特点
就系统本身而言，它不仅仅是一般的管理系统，而侧重点是在分析方法和预警处理方面，因此，该系统的需求起点较高，实现目标要求亦高。具有以下特点：
1.应用范围广泛
在各职业技能鉴定中心及教培中心均可应用，可以应用于职业技能鉴定的实操考核，也可以应用于技术比武。
2.工种适用性强
目前应用于电力行业职业技能鉴定考核工作，并支持工种类别的无限扩展。
3.业务处理标准规范
系统符合《江苏省电力公司电力通信资源命名规范》的要求，遵循《江苏省电力行业变电站值班员职业技能鉴定考核评分标准》、《江苏省电力行业变压器检修工职业技能鉴定考核评分标准》。
4.考评信息处理流程化
考生、考评员及考评组长之间职责、权限划分明确。
四、结束语
“职业技能鉴定自动评测流程管控系统”的开发过程中使用了微软公司.NetFramework平台软件开发工具VisualStudio2010、大型关系数据库SqlServer2005等工具。在实际开发中对于以上工具有了更深层次的认识，同时逐渐形成了自身的开发风格，建立起了完善的系统界面模版。
目前系统已经经过了严格的功能测试，调试和测试过程中在服务器配置和故障处理等方面积累了大量经验。为了提高系统应用效率，对全部代码进行了充分的优化，对于SQL语句的编写和应用更加娴熟，为以后的开发工作和系统升级奠定了坚实的软、硬件基础。在今后的工作中会继续总结经验、完善方法，为“职业技能鉴定自动评测流程管控系统”的应用和维护提供优质高效的技术保障。
“职业技能鉴定自动评测流程管控系统”的应用必将有助于改进技能鉴定工作的评分手段，在技能鉴定操作考核中使用此平台能够节省大约20%的考评工作量，并且能够提高评测的准确度和公平性。
（责任编辑：王祝萍）