论文部分内容阅读
关键词:学习过程;复杂技能;测评设计;机器人系统工作站搭建
一、引言
美国21世纪技能联盟提出“新平衡学习”预期学习结果指向学习与创新技能、数字素养技能以及生活和职业技能,认为学生需要兼具核心专业技能、创新解决问题的能力和信息素养,从而具备驾驭复杂生活和工作环境的能力[1]。《中国制造2025》提出建立健全多层次人才培养体系,将重视专业技术、创新人才培养与强化职业技能培训相结合,培养行业急需的复合型人才[2]。这些都表明当前的人才培养需要以学生职业能力发展为目标,以综合素养提升为推手,强调学生在真实、复杂的职业问题解决过程中身体、能力与思维之间复杂的多维和多向互动,这就对面向特定职业工作情境的且又包括知识、技能和态度为一体的专业复杂技能学习提出了更高的要求。
然而,复杂技能学习并不是孤立地学习各个不同技能的简单累加,而是体现为复杂学习的“整体大于部分之和”,溢出的这一部分正是协调和综合这些“部分”能力,且这种协调和综合的学习过程是一个不断循环迭代的过程。测评在这一循环迭代过程中具有非常重要的作用,一方面,通过复杂技能测评可评估学生的学习效果,以确定是否实现预期学习目标;另一方面,测评能为学生复杂技能整个学习过程中提供指引,发挥测评在学生学习过程中的指挥棒作用,达到以评促学的目的。因此,通过面向学习过程的复杂技能测评能够帮助学生发现自身在这一循环迭代学习过程所处的具体位置,以明确复杂技能学习的起点,提高复杂技能学习的效率和效果。
但是,通过查阅、分析和整理国内外相关文献,以及结合对上海多所高职学院和中职学校的实地调研发现:当前国内外对复杂技能测评相关研究较少,且仅有的研究大多关注复杂技能学习效果的总结性测评以及测评自动化等方面,缺少对复杂技能学习中过程性考核与结果性考核相结合的学业考评制度的探索。这正与《深化新时代教育评价改革方案》中提出要“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性”的原则对应起来。
为此,本文以面向学习过程的复杂技能测评作为切入点,研究复杂技能的过程性测评与总结性测评有机结合,以健全复杂技能学习综合评价。通过复杂技能测评目标过程性的分解,明确复杂技能学习过程的考核点,确定考核数据的获取途径和方法,能为在复杂技能学习过程性评价提供方法上支持;同时,还能够帮助教师识别学生在复杂技能学习过程中问题出现在哪个阶段,并发现这些问题产生是由于没能掌握哪些知识、图式和规则等,进而精准有效地位学生提供及时的反馈与纠错。这些将从理论方法与实践指导上完善职业院校教育教学的评价机制,从而进一步推动新时代职业教育评价改革。
二、研究框架
(一)问题提出
当前,国内外对复杂技能测评研究主要集中在测评的模型设计、系统开发和应用实践等方面,在国外,典型研究包括:Van Merrienboer将复杂技能学习效果评估工具开发分为将复杂技能分解为各组成技能、将各组成技能根据复用性和非复用性进行划分并编制相应的学习目标、以及开发各组成技能具体评估工具共三个阶段[3];Kevin等通过添加带有嵌入式提示的视频弥补基于文本的分析评估准则在技能掌握的不足,將基于文本的分析评估准则转换为“视频增强分析评估准则”,提高对复杂技能心理模式的评估效果[4];Herde等提出了MCS方法来评估一般复杂问题解决技能及其过程知识获取和知识应用,并通过案例展示如何评价复杂问题解决技能[5]。有些研究仅仅是对客观题进行自动测评和形成性评价,如Wilson通过使用计算机辅助大一学生在地理课中进行多项选择练习测试,通过学生所做题目的难易程度、题目对知识的记忆点或知识的应用和分析等不同,为学生提供形成性评估,研究发现使用计算机辅助测评的学生的成绩明显高于对照组[6];Melo等和Lim等分别从技能掌握情况、认知负荷、学习迁移和任务完成耗时等角度对学生的复杂技能学习过程进行了评估[7][8]。
在国内,徐显龙等从知识、图示、规则和综合应用技能四个方面对学生学习青花瓷鉴赏技能的效果进行了总结性评价[9]。邱飞岳等提出了基于4C/ID模式的复杂学习平台构架,并阐述学习平台的体系结构、功能模块以及平台的学习流程[10]。吕朝华开发基于专家-新手模型的技能培训系统,通过其找出专家和新手之间的区别,对新手在技能学习时进行诊断,并提供指导和帮助[11]。王宏宇将“学习任务书”作为教学反馈的载体,并以学生在学习过程中填写并提交学习任务书的方式,对学生复杂技能学习过程进行监控和评价[12]。
从整体上看,国内外研究主要集中于复杂技能测评在各个教学情景中的具体应用,并通过对组成技能综合测试、问卷、观察、访谈等方法检验学生复杂技能学习效果,且大多都是在教学任务完成之后进行测评。但就面向学习过程的复杂技能测评研究而言,存在主要问题包括:一是当前国内外缺少针对复杂技能测评方法的系统性研究,如制定复杂技能学习过程性测评标准、建构普遍认可的复杂技能过程性测评模型、过程性测评数据如何获取等,也较少关注复杂技能学习过程中对学习者学习效果的动态分析、形成性评价与反馈的研究。二是国内外对复杂技能测评研究大多是一些较为通用的、面向程序性知识的自动测评应用研究,但较为缺乏针对复杂技能学习测评的实证研究,在已有测评应用研究中多数是总结性评价,缺乏对复杂技能学习过程的形成性评价。
为此,本文构建面向学习过程的复杂技能测评整体框架,并以上海D职业技术学院机电一体化专业“工业机器人操作与编程”课程中“机器人系统工作站搭建”技能为目标技能,通过开展实证研究来初步证实面向学习过程的复杂技能测评设计的可行性和有效性。
(二)面向学习过程的复杂技能测评整体框架
为判断学生是否具备解决特定职业领域情境下的真实问题解决能力,就需对学生多领域的相关知识、技能以及问题解决的一般途径进行综合的、持续的考察。复杂技能测评目的是从学生的问题解决方案、推理思路、决策过程和典型程序错误、缺陷规则、错误概念等方面提供认知反馈和诊断性反馈,这就需要建立面向学习过程的复杂技能测评。 一方面,为了对学生的复杂技能学习过程从横向和纵向开展完整、系统和有效的学习测评,首先需要在课程学习目标的基础上,通过复杂技能层级分解方法对复杂技能学习目标进行过程性分解,构建测评目标层级分解体系;其次,分别对其技能学习目标所涉及的测评考核点从问题解决流程、客观知识概念、工作基准规则和技能操作流程四个角度进行梳理与分析,进而设计出面向复杂技能学习目标完整、系统性评价的过程性测评目标考核点体系;最后,分析各具体考核点所对应的数据需求,包括对所需数据类型、数据获取途径、数据处理方法以及数据反馈路径的设计,并依此设计基于真实完整问题情境的图示建构与熟练测评任务,实现对复杂技能学习的过程性测评。
另一方面,为了实现上述复杂技能测评过程、保证学生复杂技能学习效果,需要改变当前研究中以总结性学业水平测试和简单过程性测试为主的复杂技能测评模式,将过程性评价引入复杂技能测评设计中。过程性评价的本质特点在于收集信息以改进教学,其核心功能在于反馈。复杂技能的学习过程可分为相互之间较为独立且连续的学习各阶段,在各阶段中引入过程性评价不仅可以揭示出上一阶段相关组成技能学习效果,从而通过即时反馈的形式指导下一阶段的课程内容、学习策略与方法,还可以映射出学生在复杂技能各组成成分掌握程度上的优势与不足,从而指导教师进行即时的教学补救和个别化指导。因此,在复杂技能学习评价时,需要考虑学生学习过程的阶段性表现,根据复杂技能整体学习目标,在对学生学习过程中图式建构、图式熟练和图式应用进行评价的基础上,对学生的复杂技能掌握水平进行诊断,并通过提供学习指导、调整教学进度和重构学习活动等方式支持学生复杂技能学习过程的动态优化与调整,有效促进学生复杂技能学习目标的达成。
基于上述设计思路,以复杂技能综合学习过程为基础,构建了面向学习过程的复杂技能测评框架,如图1所示。
三、研究设计
(一)研究对象
《工业机器人操作与编程》是机电一体化专业学生的必修课程,其中“机器人系统工作站的搭建”要求学生根据实际情况在计算机模拟仿真环境中熟练进行机器人工作站的搭建,具有明显的复杂技能特征。研究选取上海D职业技术学院机电一体化专业2016级41名学生为研究对象,将其分为实验组19人和控制组22人,经过前测,结果表明两组学生在学习该目标技能的先验知识上没有显著差异。
(二)机器人系统工作站搭建技能测评设计
1.测评目标过程性分解
(1)确定学习目标
机器人系统工作站搭建的学习目标为学生能在分析客户需求的基础上熟练地在工业机器人模拟仿真程序中完成选取并添加所需工业机器人、所需工具、相应工件和外围设施以构建工作站模拟物理环境的一系列相关操作,并针对特定机器人通过选择合适的语言以及所需工业网络创建机器人控制系统,从而完成完整的机器人工作站系统搭建。
(2)技能层级分解
根据技能层级分解过程,将机器人系统工作站搭建任务从“在计算机模拟软件中进行物理环境的构建”和“机器人控制系统的创建”两个过程进行划分,提取出一级复杂技能。构建的“机器人系统工作站搭建”技能层级如下页图2所示。其中,构建物理环境的过程包括需要根據任务提出的不同要求在虚拟场景中按顺序先后配置工业机器人、机器人所使用的的工具、其他相关外围环境设施,并将机器人所需处理的工件放置于外围设施中;创建机器人控制系统的过程包括进行机器人系统语言和工业网络选择在内的一系列操作步骤。由于上述各部分对在不同问题情境中的复用性知识概念、操作技能与相应规范有所涉及,因此将其均作为再生性技能进行学习。此外,为了促进学生对机器人工作站搭建的问题解决过程图式的掌握,将机器人系统工作站搭建流程作为创生性技能进行学习。最后,在与任课教师沟通与交流后,确定了以顺序关系和转换关系作为组成技能之间的时序关系。
(3)面向学习过程的测评目标层级分解
在利用组成技能层级分解模型对复杂技能进行学习内容过程性分解的基础上,为了实现对学生复杂技能学习情况全面、详实的测评与分析,基于所建立的技能层级关系对复杂技能学习目标向学生的学习过程进行了逐层分解。如图3所示,针对终点复杂技能,构建整合完整的任务解决路径和所需技能的学习目标;针对于各层级组成技能,构建面向任务解决各流程、各阶段的相关组成技能学习目标;针对于体现复杂技能中的再生性与创生性组成技能,从学习者所需达到的图式熟练和图式建构水平角度构建相关学习目标,并从基准、规则和态度等方面对各组成技能所需遵循的标准与规范进行详细、具体的阐述。
2.技能测评目标向考核点的转换
在确定了“机器人系统工作站搭建”技能测评层级目标后,为了便于实施测评,就需要将各层级目标向知识、流程、规则以及综合应用等技能考核点进行转换,形成了技能测评目标与考核点对应关系,如表1所示。为此,设计了该技能的图式建构、图式熟练和图式应用三类共四个任务。
在图式建构的测评任务1中,主要考核学生是否掌握根据客户特定情境中需求分析得出搭建机器人系统工作站的流程的能力。为此,该任务营造了包装盒装配机器人生产线需求的真实问题情境,要求学生通过观看学习构建机器人工作站过程的微课,并绘制能反映出机器人工作站创建过程的思维导图。通过测评任务1,一方面能考核学生对于机器人工作站及其组成等客观知识的掌握程度;另一方面,也能考核学生对机器人工作站搭建流程是否掌握。
在图式熟练的测评任务2中,主要考核学生是否掌握根据客户特定情境中需求搭建工作站物理环境的能力。为此,该任务以消毒水包装盒生产线的搭建为真实问题情境,在为学生提供客户具体需求和机器人工作车间设计图样例等材料的基础上,要求学生在已建成部分工作站的程序文件基础上对所缺失的部分进行补全,从而完成机器人工作站的完整搭建。通过测评任务2,不仅能实现学生对机器人工作站种类、机器人工具类型、工作站外围物理设施和功能等客观知识考核;还能考核学生在搭建机器人工作站物理环境过程中是否能正确且熟练地进行添加机器人、机器人工具、外围物理设施和工件。 在图式熟练的测评任务3中,主要考核学生是否掌握根据客户需求创建机器人工作站控制系统的能力。为此,该任务仍以消毒水包装盒生产线的搭建为真实问题情境,通过为学生提供客户具体需求,要求学生对现有工作站中所缺失的部分进行补全,从而完成完整机器人工作站的搭建。通过测评任务3,一方面,能考核学生对工作站控制系统及其组成、系统中语言和工业网络配置的涵义与功能等客观知识的掌握程度;另一方面,能考核学生在搭建机器人工作站控制系统中是否正确且熟练进行系统语言和工业网络选择操作。
在图式综合应用的测评任务4中,主要考核学生是否掌握根据客户的不同需求来分析和创建机器人工作站的迁移能力。为此,该任务创设了国内某厂家口罩包装生产线需求的真实问题情境,为学生提供客户大致需求和机器人工作车间设计图样例等材料的基础上,要求学生完成包括机器人程序创建、工作站搭建流程的思维导图绘制以及工作站控制系统和物理环境搭建在内的完整机器人工作站搭建。通过测评任务4,能够实现学生在机器人工作站搭建过程中客观知识概念、问题解决流程、技能操作规则等综合应用能力的考核。
3.考核点测评数据的获取途径与处理方法
在复杂技能学习测评考核点确定之后,如何合理对学习任务承载考核点的测评数据获取与处理是实现面向学习过程的复杂技能测评又一个关键难点。以“机器人工作站搭建”技能为例,在确认其考核点之后,分析了搭建机器人工作站四个学习任务的测评数据、测评方式、数据获取途径及其处理方法,建立了“机器人工作站搭建”技能考核点测评数据的获取途径与处理方法,如图4所示。
首先,在“机器人工作站搭建”技能的知识、流程、规则和综合应用考核点确定之后,分析并归纳出各考核点所需的测评数据。其次,对于技能知识测评数据,采取编制客观试题方式进行测评;对于流程测评数据,采用绘制思维导图的方式进行测评;而对于规则和综合应用的测评数据,则采取以真实情境测评任务方式进行测评。接着,对于不同测评方式,则有不同数据获取途径,如对客观试题和绘制思维导图方式,采取计算机自动获取途径获得这些测评数据;而对真实情境测评任务方式,则采用学生在机房台式机电脑完成后上传至测评系统途径获得測评数据。最后,针对不同数据获取途径,则采取不同的数据处理方法,如对于计算机自动获取的客观试题测评数据,采取计算机自动处理方法处理数据;对于计算机自动获取的思维导图测评数据,则采取人工方式评分方法处理数据;对于人工方式上传的真实情境测评任务数据,仍采用人工方式评分方法处理数据。
(三)研究工具
在学业表现方面,从知识、流程和规则三个维度进行了测评工具的设计,以应用于学习的过程性与总结性评价之中。测评共设置了39个考核点,包括通过客观测试题对学生的机器人系统工作站搭建知识掌握情况进行考核;通过真实情境下的具体操作任务对学生的图式构建和图式熟练的掌握程度进行考核。
在课程学习结束后对学生的认知负荷进行了测评。从学生学习过程中的心理负荷、心理努力、情感体验、教师有效教学、课程安排和学生自主学习等方面构建了心理认知负荷的五级李克特量表以反映学生学习过程中的心理负荷和心理努力[13][14]。量表中共设置了14个问题,旨在通过对学生学习过程中的内部、外部及关联三方面的认知负荷的考察分析学习内容本身和面向学习过程的复杂技能学习模式对学习者学习效果的影响[15][16]。机器人系统工作站搭建技能学习测评结构模块如表2所示。
(四)研究实施
受疫情影响,本次实验依托于职教云平台采用混合学习形式开展。在课程学习开始前,学习者通过学习教师所上传的课件学习掌握该复杂技能所需的相关基础知识;在课程学习过程中,教师通过职教云平台的资料发布、交流论坛和作业收集等功能组织并开展教学活动。
研究实施流程如图5所示。在实验过程中,实验组是基于面向学习过程的复杂技能测评整体框架开展学习活动,将过程性测评任务加入学习过程以支持教师对学生复杂技能学习情况的掌握,每次课程结束后,对学生作业进行下载和评价,根据测评结果通过平台和教学视频等形式进行任务总结和教学内容调整;在完成课程学习后,通过完整任务的形式对学生图式综合应用能力进行总结性评价。对照组是采用基于传统教学模式开展学习活动,不进行过程性考察,仅在课程结束之后与实验组进行相同的总结性评价。实验教学总时长为4课时。
四、数据处理与结果讨论
(一)过程性测评设计的应用效果
为验证过程性测评支持并改进学生复杂技能学习的效果,对学生“机器人系统工作站搭建”技能学习过程中各测评任务涉及所有考核点的过程性与总结性得分进行对比分析,如下页图6所示。
在工作站系统搭建流程的学习过程中,从图中测评任务1的过程性统计结果可得,学生对于“工作站处布局”“布局微调整”和“保存与打包工作站”共三方面的掌握情况较差(得分率低于80%),这说明学生在学习过程中并没有对工作站搭建的任务形成完整的认知、尚未建构出完整的认知图式。根据测评任务1的结果,教师突出了在工作站系统搭建流程中对学生这三方面薄弱考核点部分的重点讲解,以重新录制教学视频的方式在任务总结环节中通过播放视频的方式给学生提供了反馈,实现学生复杂技能学习过程及时干预。
对于学生图式建构方面的过程性测评干预效果,可通过将图中测评任务1得分与测评任务4中相关考核点的得分对比来说明。从下页图6中可看出,学生在这三个薄弱过程性考核点上的知识掌握情况均有所提升,其中,过程性干预对于学生“工作站初步布局”流程掌握的提升效果最为明显,这表明面向学习过程的复杂技能测评设计能及时发现学生在图式建构学习中存在的问题,并通过教师开展针对性教学干预等方式有效支持学生的复杂技能学习过程。此外,学生在“创建控制系统”考核点上的总结性得分较学习过程中有较大的回落,这可能是由于在教学过程中未针对学生在过程性测评中掌握情况较好的考核点进行适时强化,从而导致学生了对于该问题解决流程的遗忘。 在物理环境构建和控制系统创建的图式进行熟练的学习过程中,从图中测评任务2和任务3可得,学生对于“合理添加工件”考核点的掌握情况较差(得分率低于80%),这说明学生在学习过程中尚未掌握工件搭建所需遵循的工作规则,并且未能培养出正确、完整的操作技能。根据该过程性测评结果,教师通过录制教学视频的方式将工件的概念进行了重点介绍、并以实际操作动画的方式对工件创建与布置过程中的具体操作步骤和相关规范进行了演示和说明,并通过在课堂任务总结环节中播放视频的方式对学生的复杂技能学习过程进行了学习干预。
对于学生图式熟练方面的过程性测评干预效果,可以通过将图中测评任务2、任务3和任务4中相关考核点得分情况进行对比来说明。从图6中可看出,过程性干预对于学生“合理添加工件”组成技能熟练的促进效果较为明显,说明面向学习过程的复杂技能测评设计模式能较为准确地发现学生在技能操作和工作规则等方面存在的问题,从而帮助教师直观地掌握课程教学效果,并通过教师以即时调整教学活动等方式有效地支持学生的复杂技能学习过程。此外,学生在机器人及工具的正确添加和工作环境的构建上仍能保持较好的技能掌握情况,而在“正确选择系统语言”和“正确选择工业网络”考核点上的总结性得分相较于学习过程有较大的回落,产生该现象的原因一方面可能是在实践过程中对于测评任务3的设计缺乏一定的难度,导致未能对学生学习过程中机器人控制系统创建技能的熟练程度进行准确的评价;另一方面可能是由于未在任务总结复习阶段从图式建构和熟练方面针对学习者在学习过程中表现良好的创建机器人控制系统组成技能进行复习和回顾。
(二)学业表现
为了进一步验证面向学习过程的复杂技能测评的应用效果,通过测评任务4对实验组和对照组的技能掌握情况进行总结性评价。测评以客观测试题和具体操作任务的形式展开,测评内容涉及对复杂技能学习过程中所有考核点的考察。为有效测评学生复杂技能综合应用的迁移能力,测评任务4中真实问题情境与实验组的过程性测评任务是不相同。
实验组和对照组的学业表现如表3所示,实验组在知识规则、图式构建以及总分的平均表现上均显著高于对照组,这说明相对于传统的教学设计,整合了过程性测评与干预的复杂技能学习设计对于学生复杂技能的学习有着显著的促进作用,并集中体现为促进学生对客观概念的和问题解决完整思路的认知上。在图示熟练方面,实验组平均得分略高于对照组,这表明面向学习过程的复杂技能学习测评设计对于学生操作技能和相关规则的促进效果不明显,這可能是由于学习过程中并没有针对实验组在图式熟练的薄弱环节设计并提供额外的操作性任务,而采用以视频演示的方式进行干预,因而对于促进学生操作技能掌握的能力有限。
(三)认知负荷
在学习结束后,对学生学习过程中的内部、外部及关联三方面的认知负荷进行考核,以探究整合了过程性测评与干预的复杂技能学习设计对学生学习效果的影响。实验组和对照组的认知负荷分析结果如表4所示。结果表明实验组外部认知负荷方面显著低于对照组,这说明相较于传统的复杂技能学习方法,面向学习过程的复杂技能测评设计能够更好地促进学生对于教学内容的内化、减轻学生的学习负担并提高学生在图式建构和熟练方面的学习效果。此外,实验组相对于对照组在内部认知负荷、关联认知负荷及总认知负荷上表现出更低的水平,但是两组之间并没有表现出显著差异。
五、总结与展望
针对当前复杂技能学习中难以对学生学习过程进行完整、动态的掌握与及时干预,研究将过程性评价引入复杂技能综合学习过程,建构了面向学习过程的复杂技能测评框架,并以“机器人工作站搭建”为目标技能,开展了实证研究。结果表明实验班在过程性任务中的表现说明面向学习过程的技能测评设计能有效提高学生机器人系统工作站搭建流程和规则的掌握;学业表现实验班高于对照班,且在搭建流程和客观知识方面有显著差异;实验班整体认知负荷低于对照班,且在外部认知负荷上存在显著差异。
但在对复杂技能学习开展过程性评价与反馈的过程中,也有如下值得深入研究的问题:
一是加强对复杂技能学习测评的理论与方法研究,综合学习设计方法正在逐渐成为学习者复杂技能掌握程度及其胜任力表征的有效方法,将其融入于复杂技能形成的复杂技能综合学习强调学生在真实任务情境中综合运用相关知识与技能以达成学习目标的过程,有助于学生在真实情境中能力的达成和素养的发展。但国内综合学习设计及其测评研究起步较晚、应用范围较窄,对其研究主要集中在综合学习设计理论的阐述和模式探究方面,对综合学习设计实践研究还不多,以及对复杂技能综合学习测评的理论、方法与应用研究还未开始等,这些都需要国内研究者加快速度加大力度对复杂技能学习测评展开系统化研究。
二是合理设计任务的问题情境、逻辑关系和难易程度,帮助教师进行面向学习过程的复杂技能学习测评设计。如何设计真实情境、逻辑清晰和难度适中的学习与测评任务以有效揭示学生的过程性技能掌握水平,过程性测评任务是面向学习过程的复杂技能学习测评设计能有效指导教师开展教学干预的前提,而学习测评任务设计过程中的情境不够真实、逻辑不够清晰以及难度不够合理等问题会导致教师对学生能力掌握的不准确,进而影响复杂技能学习效果。因此,如何设计合理的学习测评任务,以有效反映和解释各考核点上学生的学习现状与不足,是保证复杂技能学习测评设计有效性的前提条件。
三是如何降低学生的认知负荷和教师的工作负担是成功应用复杂技能学习测评的关键所在,在复杂技能学习过程中加入过程性评价,虽然可以有效反映学习者的学习情况,但对学习过程进行即时有效的反馈过程也会给教师在测评数据处理方面增添较重的负担。如何在教学过程中通过复杂技能过程性测评系统的设计与开发实现过程性数据的自动化采集与处理,是教师顺利、便捷地使用面向过程的复杂技能测评设计提高课程教学效果的重要环节。同时,融合了面向学习过程测评的复杂技能学习设计能够有效减少学习者的外部认知负荷,但在学生的认知过程中,其能同时投入的总体认知努力往往是恒定的。如何设计学习活动以提升关联认知负荷的比例,从而提高其对于学习者有效知识转化的促进作用,是进一步提升复杂技能学习效果的可能路径。
四是提升复杂技能学习测评对专业人才培养支撑作用的认识,在专业人才培养过程中,强调学生运用专业知识、技能和情感态度价值观解决真实情境问题的综合应用能力,而复杂技能学习测评是通过其对单元教学目标的支持、单元目标对课程目标的支持、课程目标对培养规格的支持以及培养规格对培养目标的支持等间接地支持专业人才培养目标的实现。当前对面向专业人才培养的复杂技能学习测评较多的关注在知识与能力的综合应用方面,较少考虑将素养也融入到知识与能力的复杂技能学习评价上。因此,在当前强调三全育人理念指导下的专业课程思政改革背景下,研究包括知识、能力和素养在内的复杂技能学习综合测评就显得尤为重要。
一、引言
美国21世纪技能联盟提出“新平衡学习”预期学习结果指向学习与创新技能、数字素养技能以及生活和职业技能,认为学生需要兼具核心专业技能、创新解决问题的能力和信息素养,从而具备驾驭复杂生活和工作环境的能力[1]。《中国制造2025》提出建立健全多层次人才培养体系,将重视专业技术、创新人才培养与强化职业技能培训相结合,培养行业急需的复合型人才[2]。这些都表明当前的人才培养需要以学生职业能力发展为目标,以综合素养提升为推手,强调学生在真实、复杂的职业问题解决过程中身体、能力与思维之间复杂的多维和多向互动,这就对面向特定职业工作情境的且又包括知识、技能和态度为一体的专业复杂技能学习提出了更高的要求。
然而,复杂技能学习并不是孤立地学习各个不同技能的简单累加,而是体现为复杂学习的“整体大于部分之和”,溢出的这一部分正是协调和综合这些“部分”能力,且这种协调和综合的学习过程是一个不断循环迭代的过程。测评在这一循环迭代过程中具有非常重要的作用,一方面,通过复杂技能测评可评估学生的学习效果,以确定是否实现预期学习目标;另一方面,测评能为学生复杂技能整个学习过程中提供指引,发挥测评在学生学习过程中的指挥棒作用,达到以评促学的目的。因此,通过面向学习过程的复杂技能测评能够帮助学生发现自身在这一循环迭代学习过程所处的具体位置,以明确复杂技能学习的起点,提高复杂技能学习的效率和效果。
但是,通过查阅、分析和整理国内外相关文献,以及结合对上海多所高职学院和中职学校的实地调研发现:当前国内外对复杂技能测评相关研究较少,且仅有的研究大多关注复杂技能学习效果的总结性测评以及测评自动化等方面,缺少对复杂技能学习中过程性考核与结果性考核相结合的学业考评制度的探索。这正与《深化新时代教育评价改革方案》中提出要“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性”的原则对应起来。
为此,本文以面向学习过程的复杂技能测评作为切入点,研究复杂技能的过程性测评与总结性测评有机结合,以健全复杂技能学习综合评价。通过复杂技能测评目标过程性的分解,明确复杂技能学习过程的考核点,确定考核数据的获取途径和方法,能为在复杂技能学习过程性评价提供方法上支持;同时,还能够帮助教师识别学生在复杂技能学习过程中问题出现在哪个阶段,并发现这些问题产生是由于没能掌握哪些知识、图式和规则等,进而精准有效地位学生提供及时的反馈与纠错。这些将从理论方法与实践指导上完善职业院校教育教学的评价机制,从而进一步推动新时代职业教育评价改革。
二、研究框架
(一)问题提出
当前,国内外对复杂技能测评研究主要集中在测评的模型设计、系统开发和应用实践等方面,在国外,典型研究包括:Van Merrienboer将复杂技能学习效果评估工具开发分为将复杂技能分解为各组成技能、将各组成技能根据复用性和非复用性进行划分并编制相应的学习目标、以及开发各组成技能具体评估工具共三个阶段[3];Kevin等通过添加带有嵌入式提示的视频弥补基于文本的分析评估准则在技能掌握的不足,將基于文本的分析评估准则转换为“视频增强分析评估准则”,提高对复杂技能心理模式的评估效果[4];Herde等提出了MCS方法来评估一般复杂问题解决技能及其过程知识获取和知识应用,并通过案例展示如何评价复杂问题解决技能[5]。有些研究仅仅是对客观题进行自动测评和形成性评价,如Wilson通过使用计算机辅助大一学生在地理课中进行多项选择练习测试,通过学生所做题目的难易程度、题目对知识的记忆点或知识的应用和分析等不同,为学生提供形成性评估,研究发现使用计算机辅助测评的学生的成绩明显高于对照组[6];Melo等和Lim等分别从技能掌握情况、认知负荷、学习迁移和任务完成耗时等角度对学生的复杂技能学习过程进行了评估[7][8]。
在国内,徐显龙等从知识、图示、规则和综合应用技能四个方面对学生学习青花瓷鉴赏技能的效果进行了总结性评价[9]。邱飞岳等提出了基于4C/ID模式的复杂学习平台构架,并阐述学习平台的体系结构、功能模块以及平台的学习流程[10]。吕朝华开发基于专家-新手模型的技能培训系统,通过其找出专家和新手之间的区别,对新手在技能学习时进行诊断,并提供指导和帮助[11]。王宏宇将“学习任务书”作为教学反馈的载体,并以学生在学习过程中填写并提交学习任务书的方式,对学生复杂技能学习过程进行监控和评价[12]。
从整体上看,国内外研究主要集中于复杂技能测评在各个教学情景中的具体应用,并通过对组成技能综合测试、问卷、观察、访谈等方法检验学生复杂技能学习效果,且大多都是在教学任务完成之后进行测评。但就面向学习过程的复杂技能测评研究而言,存在主要问题包括:一是当前国内外缺少针对复杂技能测评方法的系统性研究,如制定复杂技能学习过程性测评标准、建构普遍认可的复杂技能过程性测评模型、过程性测评数据如何获取等,也较少关注复杂技能学习过程中对学习者学习效果的动态分析、形成性评价与反馈的研究。二是国内外对复杂技能测评研究大多是一些较为通用的、面向程序性知识的自动测评应用研究,但较为缺乏针对复杂技能学习测评的实证研究,在已有测评应用研究中多数是总结性评价,缺乏对复杂技能学习过程的形成性评价。
为此,本文构建面向学习过程的复杂技能测评整体框架,并以上海D职业技术学院机电一体化专业“工业机器人操作与编程”课程中“机器人系统工作站搭建”技能为目标技能,通过开展实证研究来初步证实面向学习过程的复杂技能测评设计的可行性和有效性。
(二)面向学习过程的复杂技能测评整体框架
为判断学生是否具备解决特定职业领域情境下的真实问题解决能力,就需对学生多领域的相关知识、技能以及问题解决的一般途径进行综合的、持续的考察。复杂技能测评目的是从学生的问题解决方案、推理思路、决策过程和典型程序错误、缺陷规则、错误概念等方面提供认知反馈和诊断性反馈,这就需要建立面向学习过程的复杂技能测评。 一方面,为了对学生的复杂技能学习过程从横向和纵向开展完整、系统和有效的学习测评,首先需要在课程学习目标的基础上,通过复杂技能层级分解方法对复杂技能学习目标进行过程性分解,构建测评目标层级分解体系;其次,分别对其技能学习目标所涉及的测评考核点从问题解决流程、客观知识概念、工作基准规则和技能操作流程四个角度进行梳理与分析,进而设计出面向复杂技能学习目标完整、系统性评价的过程性测评目标考核点体系;最后,分析各具体考核点所对应的数据需求,包括对所需数据类型、数据获取途径、数据处理方法以及数据反馈路径的设计,并依此设计基于真实完整问题情境的图示建构与熟练测评任务,实现对复杂技能学习的过程性测评。
另一方面,为了实现上述复杂技能测评过程、保证学生复杂技能学习效果,需要改变当前研究中以总结性学业水平测试和简单过程性测试为主的复杂技能测评模式,将过程性评价引入复杂技能测评设计中。过程性评价的本质特点在于收集信息以改进教学,其核心功能在于反馈。复杂技能的学习过程可分为相互之间较为独立且连续的学习各阶段,在各阶段中引入过程性评价不仅可以揭示出上一阶段相关组成技能学习效果,从而通过即时反馈的形式指导下一阶段的课程内容、学习策略与方法,还可以映射出学生在复杂技能各组成成分掌握程度上的优势与不足,从而指导教师进行即时的教学补救和个别化指导。因此,在复杂技能学习评价时,需要考虑学生学习过程的阶段性表现,根据复杂技能整体学习目标,在对学生学习过程中图式建构、图式熟练和图式应用进行评价的基础上,对学生的复杂技能掌握水平进行诊断,并通过提供学习指导、调整教学进度和重构学习活动等方式支持学生复杂技能学习过程的动态优化与调整,有效促进学生复杂技能学习目标的达成。
基于上述设计思路,以复杂技能综合学习过程为基础,构建了面向学习过程的复杂技能测评框架,如图1所示。
三、研究设计
(一)研究对象
《工业机器人操作与编程》是机电一体化专业学生的必修课程,其中“机器人系统工作站的搭建”要求学生根据实际情况在计算机模拟仿真环境中熟练进行机器人工作站的搭建,具有明显的复杂技能特征。研究选取上海D职业技术学院机电一体化专业2016级41名学生为研究对象,将其分为实验组19人和控制组22人,经过前测,结果表明两组学生在学习该目标技能的先验知识上没有显著差异。
(二)机器人系统工作站搭建技能测评设计
1.测评目标过程性分解
(1)确定学习目标
机器人系统工作站搭建的学习目标为学生能在分析客户需求的基础上熟练地在工业机器人模拟仿真程序中完成选取并添加所需工业机器人、所需工具、相应工件和外围设施以构建工作站模拟物理环境的一系列相关操作,并针对特定机器人通过选择合适的语言以及所需工业网络创建机器人控制系统,从而完成完整的机器人工作站系统搭建。
(2)技能层级分解
根据技能层级分解过程,将机器人系统工作站搭建任务从“在计算机模拟软件中进行物理环境的构建”和“机器人控制系统的创建”两个过程进行划分,提取出一级复杂技能。构建的“机器人系统工作站搭建”技能层级如下页图2所示。其中,构建物理环境的过程包括需要根據任务提出的不同要求在虚拟场景中按顺序先后配置工业机器人、机器人所使用的的工具、其他相关外围环境设施,并将机器人所需处理的工件放置于外围设施中;创建机器人控制系统的过程包括进行机器人系统语言和工业网络选择在内的一系列操作步骤。由于上述各部分对在不同问题情境中的复用性知识概念、操作技能与相应规范有所涉及,因此将其均作为再生性技能进行学习。此外,为了促进学生对机器人工作站搭建的问题解决过程图式的掌握,将机器人系统工作站搭建流程作为创生性技能进行学习。最后,在与任课教师沟通与交流后,确定了以顺序关系和转换关系作为组成技能之间的时序关系。
(3)面向学习过程的测评目标层级分解
在利用组成技能层级分解模型对复杂技能进行学习内容过程性分解的基础上,为了实现对学生复杂技能学习情况全面、详实的测评与分析,基于所建立的技能层级关系对复杂技能学习目标向学生的学习过程进行了逐层分解。如图3所示,针对终点复杂技能,构建整合完整的任务解决路径和所需技能的学习目标;针对于各层级组成技能,构建面向任务解决各流程、各阶段的相关组成技能学习目标;针对于体现复杂技能中的再生性与创生性组成技能,从学习者所需达到的图式熟练和图式建构水平角度构建相关学习目标,并从基准、规则和态度等方面对各组成技能所需遵循的标准与规范进行详细、具体的阐述。
2.技能测评目标向考核点的转换
在确定了“机器人系统工作站搭建”技能测评层级目标后,为了便于实施测评,就需要将各层级目标向知识、流程、规则以及综合应用等技能考核点进行转换,形成了技能测评目标与考核点对应关系,如表1所示。为此,设计了该技能的图式建构、图式熟练和图式应用三类共四个任务。
在图式建构的测评任务1中,主要考核学生是否掌握根据客户特定情境中需求分析得出搭建机器人系统工作站的流程的能力。为此,该任务营造了包装盒装配机器人生产线需求的真实问题情境,要求学生通过观看学习构建机器人工作站过程的微课,并绘制能反映出机器人工作站创建过程的思维导图。通过测评任务1,一方面能考核学生对于机器人工作站及其组成等客观知识的掌握程度;另一方面,也能考核学生对机器人工作站搭建流程是否掌握。
在图式熟练的测评任务2中,主要考核学生是否掌握根据客户特定情境中需求搭建工作站物理环境的能力。为此,该任务以消毒水包装盒生产线的搭建为真实问题情境,在为学生提供客户具体需求和机器人工作车间设计图样例等材料的基础上,要求学生在已建成部分工作站的程序文件基础上对所缺失的部分进行补全,从而完成机器人工作站的完整搭建。通过测评任务2,不仅能实现学生对机器人工作站种类、机器人工具类型、工作站外围物理设施和功能等客观知识考核;还能考核学生在搭建机器人工作站物理环境过程中是否能正确且熟练地进行添加机器人、机器人工具、外围物理设施和工件。 在图式熟练的测评任务3中,主要考核学生是否掌握根据客户需求创建机器人工作站控制系统的能力。为此,该任务仍以消毒水包装盒生产线的搭建为真实问题情境,通过为学生提供客户具体需求,要求学生对现有工作站中所缺失的部分进行补全,从而完成完整机器人工作站的搭建。通过测评任务3,一方面,能考核学生对工作站控制系统及其组成、系统中语言和工业网络配置的涵义与功能等客观知识的掌握程度;另一方面,能考核学生在搭建机器人工作站控制系统中是否正确且熟练进行系统语言和工业网络选择操作。
在图式综合应用的测评任务4中,主要考核学生是否掌握根据客户的不同需求来分析和创建机器人工作站的迁移能力。为此,该任务创设了国内某厂家口罩包装生产线需求的真实问题情境,为学生提供客户大致需求和机器人工作车间设计图样例等材料的基础上,要求学生完成包括机器人程序创建、工作站搭建流程的思维导图绘制以及工作站控制系统和物理环境搭建在内的完整机器人工作站搭建。通过测评任务4,能够实现学生在机器人工作站搭建过程中客观知识概念、问题解决流程、技能操作规则等综合应用能力的考核。
3.考核点测评数据的获取途径与处理方法
在复杂技能学习测评考核点确定之后,如何合理对学习任务承载考核点的测评数据获取与处理是实现面向学习过程的复杂技能测评又一个关键难点。以“机器人工作站搭建”技能为例,在确认其考核点之后,分析了搭建机器人工作站四个学习任务的测评数据、测评方式、数据获取途径及其处理方法,建立了“机器人工作站搭建”技能考核点测评数据的获取途径与处理方法,如图4所示。
首先,在“机器人工作站搭建”技能的知识、流程、规则和综合应用考核点确定之后,分析并归纳出各考核点所需的测评数据。其次,对于技能知识测评数据,采取编制客观试题方式进行测评;对于流程测评数据,采用绘制思维导图的方式进行测评;而对于规则和综合应用的测评数据,则采取以真实情境测评任务方式进行测评。接着,对于不同测评方式,则有不同数据获取途径,如对客观试题和绘制思维导图方式,采取计算机自动获取途径获得这些测评数据;而对真实情境测评任务方式,则采用学生在机房台式机电脑完成后上传至测评系统途径获得測评数据。最后,针对不同数据获取途径,则采取不同的数据处理方法,如对于计算机自动获取的客观试题测评数据,采取计算机自动处理方法处理数据;对于计算机自动获取的思维导图测评数据,则采取人工方式评分方法处理数据;对于人工方式上传的真实情境测评任务数据,仍采用人工方式评分方法处理数据。
(三)研究工具
在学业表现方面,从知识、流程和规则三个维度进行了测评工具的设计,以应用于学习的过程性与总结性评价之中。测评共设置了39个考核点,包括通过客观测试题对学生的机器人系统工作站搭建知识掌握情况进行考核;通过真实情境下的具体操作任务对学生的图式构建和图式熟练的掌握程度进行考核。
在课程学习结束后对学生的认知负荷进行了测评。从学生学习过程中的心理负荷、心理努力、情感体验、教师有效教学、课程安排和学生自主学习等方面构建了心理认知负荷的五级李克特量表以反映学生学习过程中的心理负荷和心理努力[13][14]。量表中共设置了14个问题,旨在通过对学生学习过程中的内部、外部及关联三方面的认知负荷的考察分析学习内容本身和面向学习过程的复杂技能学习模式对学习者学习效果的影响[15][16]。机器人系统工作站搭建技能学习测评结构模块如表2所示。
(四)研究实施
受疫情影响,本次实验依托于职教云平台采用混合学习形式开展。在课程学习开始前,学习者通过学习教师所上传的课件学习掌握该复杂技能所需的相关基础知识;在课程学习过程中,教师通过职教云平台的资料发布、交流论坛和作业收集等功能组织并开展教学活动。
研究实施流程如图5所示。在实验过程中,实验组是基于面向学习过程的复杂技能测评整体框架开展学习活动,将过程性测评任务加入学习过程以支持教师对学生复杂技能学习情况的掌握,每次课程结束后,对学生作业进行下载和评价,根据测评结果通过平台和教学视频等形式进行任务总结和教学内容调整;在完成课程学习后,通过完整任务的形式对学生图式综合应用能力进行总结性评价。对照组是采用基于传统教学模式开展学习活动,不进行过程性考察,仅在课程结束之后与实验组进行相同的总结性评价。实验教学总时长为4课时。
四、数据处理与结果讨论
(一)过程性测评设计的应用效果
为验证过程性测评支持并改进学生复杂技能学习的效果,对学生“机器人系统工作站搭建”技能学习过程中各测评任务涉及所有考核点的过程性与总结性得分进行对比分析,如下页图6所示。
在工作站系统搭建流程的学习过程中,从图中测评任务1的过程性统计结果可得,学生对于“工作站处布局”“布局微调整”和“保存与打包工作站”共三方面的掌握情况较差(得分率低于80%),这说明学生在学习过程中并没有对工作站搭建的任务形成完整的认知、尚未建构出完整的认知图式。根据测评任务1的结果,教师突出了在工作站系统搭建流程中对学生这三方面薄弱考核点部分的重点讲解,以重新录制教学视频的方式在任务总结环节中通过播放视频的方式给学生提供了反馈,实现学生复杂技能学习过程及时干预。
对于学生图式建构方面的过程性测评干预效果,可通过将图中测评任务1得分与测评任务4中相关考核点的得分对比来说明。从下页图6中可看出,学生在这三个薄弱过程性考核点上的知识掌握情况均有所提升,其中,过程性干预对于学生“工作站初步布局”流程掌握的提升效果最为明显,这表明面向学习过程的复杂技能测评设计能及时发现学生在图式建构学习中存在的问题,并通过教师开展针对性教学干预等方式有效支持学生的复杂技能学习过程。此外,学生在“创建控制系统”考核点上的总结性得分较学习过程中有较大的回落,这可能是由于在教学过程中未针对学生在过程性测评中掌握情况较好的考核点进行适时强化,从而导致学生了对于该问题解决流程的遗忘。 在物理环境构建和控制系统创建的图式进行熟练的学习过程中,从图中测评任务2和任务3可得,学生对于“合理添加工件”考核点的掌握情况较差(得分率低于80%),这说明学生在学习过程中尚未掌握工件搭建所需遵循的工作规则,并且未能培养出正确、完整的操作技能。根据该过程性测评结果,教师通过录制教学视频的方式将工件的概念进行了重点介绍、并以实际操作动画的方式对工件创建与布置过程中的具体操作步骤和相关规范进行了演示和说明,并通过在课堂任务总结环节中播放视频的方式对学生的复杂技能学习过程进行了学习干预。
对于学生图式熟练方面的过程性测评干预效果,可以通过将图中测评任务2、任务3和任务4中相关考核点得分情况进行对比来说明。从图6中可看出,过程性干预对于学生“合理添加工件”组成技能熟练的促进效果较为明显,说明面向学习过程的复杂技能测评设计模式能较为准确地发现学生在技能操作和工作规则等方面存在的问题,从而帮助教师直观地掌握课程教学效果,并通过教师以即时调整教学活动等方式有效地支持学生的复杂技能学习过程。此外,学生在机器人及工具的正确添加和工作环境的构建上仍能保持较好的技能掌握情况,而在“正确选择系统语言”和“正确选择工业网络”考核点上的总结性得分相较于学习过程有较大的回落,产生该现象的原因一方面可能是在实践过程中对于测评任务3的设计缺乏一定的难度,导致未能对学生学习过程中机器人控制系统创建技能的熟练程度进行准确的评价;另一方面可能是由于未在任务总结复习阶段从图式建构和熟练方面针对学习者在学习过程中表现良好的创建机器人控制系统组成技能进行复习和回顾。
(二)学业表现
为了进一步验证面向学习过程的复杂技能测评的应用效果,通过测评任务4对实验组和对照组的技能掌握情况进行总结性评价。测评以客观测试题和具体操作任务的形式展开,测评内容涉及对复杂技能学习过程中所有考核点的考察。为有效测评学生复杂技能综合应用的迁移能力,测评任务4中真实问题情境与实验组的过程性测评任务是不相同。
实验组和对照组的学业表现如表3所示,实验组在知识规则、图式构建以及总分的平均表现上均显著高于对照组,这说明相对于传统的教学设计,整合了过程性测评与干预的复杂技能学习设计对于学生复杂技能的学习有着显著的促进作用,并集中体现为促进学生对客观概念的和问题解决完整思路的认知上。在图示熟练方面,实验组平均得分略高于对照组,这表明面向学习过程的复杂技能学习测评设计对于学生操作技能和相关规则的促进效果不明显,這可能是由于学习过程中并没有针对实验组在图式熟练的薄弱环节设计并提供额外的操作性任务,而采用以视频演示的方式进行干预,因而对于促进学生操作技能掌握的能力有限。
(三)认知负荷
在学习结束后,对学生学习过程中的内部、外部及关联三方面的认知负荷进行考核,以探究整合了过程性测评与干预的复杂技能学习设计对学生学习效果的影响。实验组和对照组的认知负荷分析结果如表4所示。结果表明实验组外部认知负荷方面显著低于对照组,这说明相较于传统的复杂技能学习方法,面向学习过程的复杂技能测评设计能够更好地促进学生对于教学内容的内化、减轻学生的学习负担并提高学生在图式建构和熟练方面的学习效果。此外,实验组相对于对照组在内部认知负荷、关联认知负荷及总认知负荷上表现出更低的水平,但是两组之间并没有表现出显著差异。
五、总结与展望
针对当前复杂技能学习中难以对学生学习过程进行完整、动态的掌握与及时干预,研究将过程性评价引入复杂技能综合学习过程,建构了面向学习过程的复杂技能测评框架,并以“机器人工作站搭建”为目标技能,开展了实证研究。结果表明实验班在过程性任务中的表现说明面向学习过程的技能测评设计能有效提高学生机器人系统工作站搭建流程和规则的掌握;学业表现实验班高于对照班,且在搭建流程和客观知识方面有显著差异;实验班整体认知负荷低于对照班,且在外部认知负荷上存在显著差异。
但在对复杂技能学习开展过程性评价与反馈的过程中,也有如下值得深入研究的问题:
一是加强对复杂技能学习测评的理论与方法研究,综合学习设计方法正在逐渐成为学习者复杂技能掌握程度及其胜任力表征的有效方法,将其融入于复杂技能形成的复杂技能综合学习强调学生在真实任务情境中综合运用相关知识与技能以达成学习目标的过程,有助于学生在真实情境中能力的达成和素养的发展。但国内综合学习设计及其测评研究起步较晚、应用范围较窄,对其研究主要集中在综合学习设计理论的阐述和模式探究方面,对综合学习设计实践研究还不多,以及对复杂技能综合学习测评的理论、方法与应用研究还未开始等,这些都需要国内研究者加快速度加大力度对复杂技能学习测评展开系统化研究。
二是合理设计任务的问题情境、逻辑关系和难易程度,帮助教师进行面向学习过程的复杂技能学习测评设计。如何设计真实情境、逻辑清晰和难度适中的学习与测评任务以有效揭示学生的过程性技能掌握水平,过程性测评任务是面向学习过程的复杂技能学习测评设计能有效指导教师开展教学干预的前提,而学习测评任务设计过程中的情境不够真实、逻辑不够清晰以及难度不够合理等问题会导致教师对学生能力掌握的不准确,进而影响复杂技能学习效果。因此,如何设计合理的学习测评任务,以有效反映和解释各考核点上学生的学习现状与不足,是保证复杂技能学习测评设计有效性的前提条件。
三是如何降低学生的认知负荷和教师的工作负担是成功应用复杂技能学习测评的关键所在,在复杂技能学习过程中加入过程性评价,虽然可以有效反映学习者的学习情况,但对学习过程进行即时有效的反馈过程也会给教师在测评数据处理方面增添较重的负担。如何在教学过程中通过复杂技能过程性测评系统的设计与开发实现过程性数据的自动化采集与处理,是教师顺利、便捷地使用面向过程的复杂技能测评设计提高课程教学效果的重要环节。同时,融合了面向学习过程测评的复杂技能学习设计能够有效减少学习者的外部认知负荷,但在学生的认知过程中,其能同时投入的总体认知努力往往是恒定的。如何设计学习活动以提升关联认知负荷的比例,从而提高其对于学习者有效知识转化的促进作用,是进一步提升复杂技能学习效果的可能路径。
四是提升复杂技能学习测评对专业人才培养支撑作用的认识,在专业人才培养过程中,强调学生运用专业知识、技能和情感态度价值观解决真实情境问题的综合应用能力,而复杂技能学习测评是通过其对单元教学目标的支持、单元目标对课程目标的支持、课程目标对培养规格的支持以及培养规格对培养目标的支持等间接地支持专业人才培养目标的实现。当前对面向专业人才培养的复杂技能学习测评较多的关注在知识与能力的综合应用方面,较少考虑将素养也融入到知识与能力的复杂技能学习评价上。因此,在当前强调三全育人理念指导下的专业课程思政改革背景下,研究包括知识、能力和素养在内的复杂技能学习综合测评就显得尤为重要。