论文部分内容阅读
【摘要】目的：评估临床技能多站式考核应用在某独立学院康复治疗学专业学生毕业技能考核的合理性。方法：以138名同学的成绩为研究对象，应用教育测量学参数，分析考核质量指标。结果：该学院毕业技能考核的平均难度为0.74，各站点区分度均大于0.40，总体信度为0.808，效度较好。结论：考核难度适宜，具有较好的区分度、信度和效度。
【关键词】多站式考核；康复治疗学；毕业考核
[中图分类号]R-4；G642 [文献标识码]A [文章编号]2096-5249（2021）11-0174-03
“以培养高素质应用型人才为主”的质量定位系统构建落实到独立学院的人才培养，就是人才培养目标必须坚持“以培养高素质应用型人才”为核心，教学过程以培养学生动手能力、应用能力为突破口，把“重实践，强能力”的理念落实到各个教学环节当中[1]。如今开设康复治疗学专业的本科院校数量日渐庞大[2]，培养质量参差不齐，关于培养质量、毕业“出口”把控的研究数量一直较少。近两年，教育部多次发文均提及本科教育的质量控制问题，在《关于一流本科课程建设的实施意见》中再次强调要切实提高毕业论文（设计）质量[3]。而诸多医学相关专业都未设置毕业论文考核项目，而是用综合性考试来评估学生是否具备学位授予资格。为了严格把控本科院校出口质量，需构建更为客观、科学的毕业考核评价体系。
OSCE （Objective Structured Clinical Examination）作为国际医学考试通行的方法，在欧美等发达国家的医学院校应用较为普遍，是近年来备受医学界推崇的客观、实用的，能全面反映学生临床综合能力的考核方法[3]。但目前OSCE法在康复治疗学专业考试中应用较少，尚未形成完善的标准、规范。多站式模式可以广泛的考察学生对不同科目、不同疾病类别的掌握情况，使他们的毕业操作考核成绩在评价学生的综合实践能力方面更具代表性。根据医学技术类教育质量国家标准的要求，参照OSCE考核方法，结合康复治疗师职业资格考试大纲和专业本科阶段主要课程大纲构建了康复技能多站式考核方案，并在2019年康复治疗学专业毕业考核中取得了一定的成果，现报告如下。
1 资料与方法
1.1一般资料 2019年学院的康复治疗学专业学生共计138例，其中，男生62例、女生76例。
1.2方法 考核以康复诊疗流程为主线，涉及问诊、交谈、康复评定、康复计划和目标的制定、康复治疗的实施等考核要点。考核分别从康复常见疾病、康复诊疗流程、康复医学手段三个维度对学生进行综合评估，考核内容具有广泛代表性。考核结合各课程学分分布情况给各站点赋分，将康复评定和运动疗法部分分别调整为2个站点，各站点赋分15分，其余各站点分值均为10分。考核每站点时长为10 min，考生各站点考核总时长为80 min。
1.3评定标准 考核根据全国卫生专业技术资格考试-康复医学与治疗技术大纲和学生本科阶段专业主要课程大纲确定考核范围。并由有多年教学经验的老师编制考核试题和评分标准。考核结束后以不记名问卷的形式对硬件设施和主观难度感受情况展开调查。
1.3统计学方法 考核后收集的问卷和考试成绩的各项数据均应用SPSS 23.0和GraphPad Prism 8.3.0软件分析，并根据教育测量学理论分别计算考核的难度和区分度[5]。根据教育量化评价方法统计考核的信度与效度[6]。
2 结果
2.1问卷调查 共收集132份有效问卷，对考试场地、考试设施、考试服务满意的数量分别占68%，69%，67%，可见大多数考生对考核硬件条件比较满意，认为考核难度适中。除物理因子疗法和作业疗法两个站点外，其余各站点学生对试题的主观难度感受与实际得分较为相似。
2.2考核成绩 依据参照标准的不同，可将教育测验分为常模参照测验和标准参照测验两类，毕业考核属于标准参照性考核，关注的重点应是被试是否达到专业毕业时应具备的标准，强调被试对测验目标或内容的掌握程度。按照内容参照分数中掌握分数类别判断时，通常以可以做出80%～90%的正确反映为最低标准[5]。按照站点总分的60%为达标线时，除病史采集站点的正确反映程度偏离较大外，其余站点均与掌握分数标准相当。
通过各站点考核分数分析图表可以看出各站点分数较符合正态分布。通过对比总分与随机生成的正态分布数据（=73.6，s=7.82）的正态曲线，可以发现考生的总分分布情况与正态分布的随机数据分布拟合度较好，可以判定这次的总分成绩的正态分布表现是让人满意的。
2.3考核质量 根据教育测量学理论分别计算考核的难度和区分度[5]。根据教育量化评价方法统计考核的信度与效度[6]。
2.3.1难度 各站点评分占总分的占比与考核设计时赋分情况一致性较高，表现优良。各站点的试题难度水平较为均衡，主要试题难度集中在0.6～0.9，考虑到毕业考核的目的是了解学生的技能水平是否达标，所以各站点试题均是满足条件的。
2.3.2區分度 根据《教育测量学》相关理论，采用积差相关法（皮尔逊相关）计算各站点的区分度情况。以考核总分为效标，统计各站点的区分度情况。可见SP、考官有三位老师的区分度低于0.40水平，其余各位评分者的区分情况均较高。综合站点的平均成绩后，各站点的区分度均达0.40水平，根据美国测量学家伊贝尔（Ebel，L.）提出的从鉴别指数上评价试题的标准，可判定考核区分度是非常优良的。
2.3.3信度 以考生所有得分源为自变量计算时，描述考核信度的克隆巴赫Alpha系数为0.808。以考核各站点平均成绩计算时，克隆巴赫系数为0.653，故以增加考官数量来增加考核的整体信度的措施颇有成效。在表1中删除项后的克隆巴赫指数表现里可以发现，各项删除后的整体的克隆巴赫指数均有下降，可见各站点对总体的信度均起到了正向促进作用。 2.3.4效度 效度是指测量的有效性，即一个测量对它所要测量的特质准确测量的程度。测量结果与测量内容吻合度越高，效度就越高。使用SPSS分析考核的效度情况，得出考核KMO（Kaiser-Meyer-Olkin）值为0.738。0.7～0.8表明适合做因子分析，即说明各站点考核所得到的结果较适合反映最终结果。对成绩进行Bartlett 的球形度检验，显著性小于0.0001。两项数据均表明各站点成绩合适作为效度分析的因子。进一步因子分析时发现，从8个站点成绩变量中提取3个因子时可以解释总成绩的57.34%，提取7个因子时可以解释总成绩的93.68%，可见各站点成绩在中最终成绩的表现里均有重要的占比。
3 讨论
3.1多站式考核的意义 毕业技能考核内容与专业准入标准和职业准入标准紧密结合，既能够较真实地反映学生的实践综合能力。考核后将评分结果公开，便于学生定位自身技能水平，便于及时查漏补缺，尽快将本科阶段的知识和技能转化为职业能力。与传统OSCE考核对比 [8][9] ，此次研究的信度亦处于较高水平。更多的OSCE考核的研究中并未对考核的信度、效度和区分度进行分析，而是采用问卷评估结果替代对考核质量指标的分析，可见目前OSCE的考核模式仍处于本土化适应阶段。
3.2考核误差控制 考题编制完成后，随机分组，极大减少了试题外泄导致的测量误差。考核之前，给每位考生编制考核序号，并预先随机好各站点题号，此举不仅确保了试题的随机分布，还提升了考官、SP老师审题效率，亦便于此后开展围绕试题的分析。
毕业考核之前对所有考生进行培训，确保每位考生都熟识考试流程和要求。减少因不熟悉场地、流程等原因导致的测量误差。考核使用的标准化病人SP（Standardized Patients）均为康复治疗师，熟识康复常见疾病表现。考核之前对所有考官展开标准化评分的培训以减少考官评分的误差。
3.3成本与时效 传统OSCE考核程序复杂，费用昂贵，这也在一定程度上限定了OSCE的推广[10]。在本场考试在降低成本和提高时效上做了不少努力。对考核内容打乱重组，在保证考核内容多元化、多维度的基础上，减少知识点的重复考核。并且统一了考核时间，提高了学生的换点效率。在场次安排上，不同组别审题和作答交替进行，站点考核结束后即进入下一站点的审题，这样一来就减少了学生进考场之后审题时间，提高了考核的效率。
3.4后续研究改进 伴随研究的不断深入，对试题和评分标准的理解越发清晰，后续研究中考虑将使用命题双向细目表描述考核内容和考核目标，进一步提升考核材料的覆盖面。在试题编制时，编写各题的標准化评分表，提供具体操作指标，减少不同评分者之间的评分误差，提升试题的标准化水平，最终形成康复专业毕业技能考核的案例库。
利用智能化、信息化手段做好学生的毕业技能考核工作，提升考场的信息化水平，引入电子评分系统，提升分数统计的效率和准确性；增设录播设备，便于将来进行更深入的研究工作，以期形成信息化、多元化的科学评价体系。
参考文献
[1] 刘涛. 独立学院人才培养质量体系的构建[J]. 大学教育科学， 2009， 3（3）： 43-46.
[2] 励建安. 辞旧迎新， 继往开来[J]. 中国康复医学杂志， 2019， 34（1）： 1-3.
[3] 教高[2019]8号， 教育部关于一流本科课程建设的实施意见[EB/ OL]， 中华人民共和国教育部， 2019. 10. 31 http： //www. moe. gov. cn/srcsite/A08/s7056/201910/t20191031_406269. html
[4] 吕智海， 姜志梅， 张伟， 等. 康复治疗学本科临床技能多站式考试模式的评价[J]. 中国康复理论与实践， 2012， 18（3）： 296-298.
[5] 姜志梅， 吕智海， 张伟， 等. 康复治疗学本科专业临床技能多站式考核的研究与应用[J]. 中国高等医学教育， 2012， 26（9）： 52-54.
[6] 张敏强. 教育测量学[M]. 北京： 人民教育出版社， 2014. 4， 35-44， 80-97
[7] 涂艳国. 教育评价[M]. 北京： 高等教育出版社， 2007. 3， 130-144
[8] 王娜， 庞晓丽. 助产专业OSCE技能考核体系的创新和应用[J].中国高等医学教育， 2019， 33（7）： 66-67.
[9] 吴洁， 赵琳， 李艳红， 等. 客观结构化临床考试OSCE在MBBS留学生儿科学期末考核中的应用和成绩分析[J]. 医学教育研究与实践， 2017， 25（5）： 709-711， 715.
[10] 刘亮. 对OSCE的不足及改进措施的探讨[J]. 医学理论与实践， 2013， 26（10）： 1394-1395.
基金项目：南京医科大学康达学院2018年度教育研究课题“临床客观结构化考核应用于康复治疗学专业学生毕业技能操作考试的研究”（编号：KD2018JYYJYB005）
作者简介：王舒婧（1991.06-），女，汉族，江苏连云港人，硕士在读，实验师，主要研究方向为康复教育。
【关键词】多站式考核；康复治疗学；毕业考核
[中图分类号]R-4；G642 [文献标识码]A [文章编号]2096-5249（2021）11-0174-03
“以培养高素质应用型人才为主”的质量定位系统构建落实到独立学院的人才培养，就是人才培养目标必须坚持“以培养高素质应用型人才”为核心，教学过程以培养学生动手能力、应用能力为突破口，把“重实践，强能力”的理念落实到各个教学环节当中[1]。如今开设康复治疗学专业的本科院校数量日渐庞大[2]，培养质量参差不齐，关于培养质量、毕业“出口”把控的研究数量一直较少。近两年，教育部多次发文均提及本科教育的质量控制问题，在《关于一流本科课程建设的实施意见》中再次强调要切实提高毕业论文（设计）质量[3]。而诸多医学相关专业都未设置毕业论文考核项目，而是用综合性考试来评估学生是否具备学位授予资格。为了严格把控本科院校出口质量，需构建更为客观、科学的毕业考核评价体系。
OSCE （Objective Structured Clinical Examination）作为国际医学考试通行的方法，在欧美等发达国家的医学院校应用较为普遍，是近年来备受医学界推崇的客观、实用的，能全面反映学生临床综合能力的考核方法[3]。但目前OSCE法在康复治疗学专业考试中应用较少，尚未形成完善的标准、规范。多站式模式可以广泛的考察学生对不同科目、不同疾病类别的掌握情况，使他们的毕业操作考核成绩在评价学生的综合实践能力方面更具代表性。根据医学技术类教育质量国家标准的要求，参照OSCE考核方法，结合康复治疗师职业资格考试大纲和专业本科阶段主要课程大纲构建了康复技能多站式考核方案，并在2019年康复治疗学专业毕业考核中取得了一定的成果，现报告如下。
1 资料与方法
1.1一般资料 2019年学院的康复治疗学专业学生共计138例，其中，男生62例、女生76例。
1.2方法 考核以康复诊疗流程为主线，涉及问诊、交谈、康复评定、康复计划和目标的制定、康复治疗的实施等考核要点。考核分别从康复常见疾病、康复诊疗流程、康复医学手段三个维度对学生进行综合评估，考核内容具有广泛代表性。考核结合各课程学分分布情况给各站点赋分，将康复评定和运动疗法部分分别调整为2个站点，各站点赋分15分，其余各站点分值均为10分。考核每站点时长为10 min，考生各站点考核总时长为80 min。
1.3评定标准 考核根据全国卫生专业技术资格考试-康复医学与治疗技术大纲和学生本科阶段专业主要课程大纲确定考核范围。并由有多年教学经验的老师编制考核试题和评分标准。考核结束后以不记名问卷的形式对硬件设施和主观难度感受情况展开调查。
1.3统计学方法 考核后收集的问卷和考试成绩的各项数据均应用SPSS 23.0和GraphPad Prism 8.3.0软件分析，并根据教育测量学理论分别计算考核的难度和区分度[5]。根据教育量化评价方法统计考核的信度与效度[6]。
2 结果
2.1问卷调查 共收集132份有效问卷，对考试场地、考试设施、考试服务满意的数量分别占68%，69%，67%，可见大多数考生对考核硬件条件比较满意，认为考核难度适中。除物理因子疗法和作业疗法两个站点外，其余各站点学生对试题的主观难度感受与实际得分较为相似。
2.2考核成绩 依据参照标准的不同，可将教育测验分为常模参照测验和标准参照测验两类，毕业考核属于标准参照性考核，关注的重点应是被试是否达到专业毕业时应具备的标准，强调被试对测验目标或内容的掌握程度。按照内容参照分数中掌握分数类别判断时，通常以可以做出80%～90%的正确反映为最低标准[5]。按照站点总分的60%为达标线时，除病史采集站点的正确反映程度偏离较大外，其余站点均与掌握分数标准相当。
通过各站点考核分数分析图表可以看出各站点分数较符合正态分布。通过对比总分与随机生成的正态分布数据（=73.6，s=7.82）的正态曲线，可以发现考生的总分分布情况与正态分布的随机数据分布拟合度较好，可以判定这次的总分成绩的正态分布表现是让人满意的。
2.3考核质量 根据教育测量学理论分别计算考核的难度和区分度[5]。根据教育量化评价方法统计考核的信度与效度[6]。
2.3.1难度 各站点评分占总分的占比与考核设计时赋分情况一致性较高，表现优良。各站点的试题难度水平较为均衡，主要试题难度集中在0.6～0.9，考虑到毕业考核的目的是了解学生的技能水平是否达标，所以各站点试题均是满足条件的。
2.3.2區分度 根据《教育测量学》相关理论，采用积差相关法（皮尔逊相关）计算各站点的区分度情况。以考核总分为效标，统计各站点的区分度情况。可见SP、考官有三位老师的区分度低于0.40水平，其余各位评分者的区分情况均较高。综合站点的平均成绩后，各站点的区分度均达0.40水平，根据美国测量学家伊贝尔（Ebel，L.）提出的从鉴别指数上评价试题的标准，可判定考核区分度是非常优良的。
2.3.3信度 以考生所有得分源为自变量计算时，描述考核信度的克隆巴赫Alpha系数为0.808。以考核各站点平均成绩计算时，克隆巴赫系数为0.653，故以增加考官数量来增加考核的整体信度的措施颇有成效。在表1中删除项后的克隆巴赫指数表现里可以发现，各项删除后的整体的克隆巴赫指数均有下降，可见各站点对总体的信度均起到了正向促进作用。 2.3.4效度 效度是指测量的有效性，即一个测量对它所要测量的特质准确测量的程度。测量结果与测量内容吻合度越高，效度就越高。使用SPSS分析考核的效度情况，得出考核KMO（Kaiser-Meyer-Olkin）值为0.738。0.7～0.8表明适合做因子分析，即说明各站点考核所得到的结果较适合反映最终结果。对成绩进行Bartlett 的球形度检验，显著性小于0.0001。两项数据均表明各站点成绩合适作为效度分析的因子。进一步因子分析时发现，从8个站点成绩变量中提取3个因子时可以解释总成绩的57.34%，提取7个因子时可以解释总成绩的93.68%，可见各站点成绩在中最终成绩的表现里均有重要的占比。
3 讨论
3.1多站式考核的意义 毕业技能考核内容与专业准入标准和职业准入标准紧密结合，既能够较真实地反映学生的实践综合能力。考核后将评分结果公开，便于学生定位自身技能水平，便于及时查漏补缺，尽快将本科阶段的知识和技能转化为职业能力。与传统OSCE考核对比 [8][9] ，此次研究的信度亦处于较高水平。更多的OSCE考核的研究中并未对考核的信度、效度和区分度进行分析，而是采用问卷评估结果替代对考核质量指标的分析，可见目前OSCE的考核模式仍处于本土化适应阶段。
3.2考核误差控制 考题编制完成后，随机分组，极大减少了试题外泄导致的测量误差。考核之前，给每位考生编制考核序号，并预先随机好各站点题号，此举不仅确保了试题的随机分布，还提升了考官、SP老师审题效率，亦便于此后开展围绕试题的分析。
毕业考核之前对所有考生进行培训，确保每位考生都熟识考试流程和要求。减少因不熟悉场地、流程等原因导致的测量误差。考核使用的标准化病人SP（Standardized Patients）均为康复治疗师，熟识康复常见疾病表现。考核之前对所有考官展开标准化评分的培训以减少考官评分的误差。
3.3成本与时效 传统OSCE考核程序复杂，费用昂贵，这也在一定程度上限定了OSCE的推广[10]。在本场考试在降低成本和提高时效上做了不少努力。对考核内容打乱重组，在保证考核内容多元化、多维度的基础上，减少知识点的重复考核。并且统一了考核时间，提高了学生的换点效率。在场次安排上，不同组别审题和作答交替进行，站点考核结束后即进入下一站点的审题，这样一来就减少了学生进考场之后审题时间，提高了考核的效率。
3.4后续研究改进 伴随研究的不断深入，对试题和评分标准的理解越发清晰，后续研究中考虑将使用命题双向细目表描述考核内容和考核目标，进一步提升考核材料的覆盖面。在试题编制时，编写各题的標准化评分表，提供具体操作指标，减少不同评分者之间的评分误差，提升试题的标准化水平，最终形成康复专业毕业技能考核的案例库。
利用智能化、信息化手段做好学生的毕业技能考核工作，提升考场的信息化水平，引入电子评分系统，提升分数统计的效率和准确性；增设录播设备，便于将来进行更深入的研究工作，以期形成信息化、多元化的科学评价体系。
参考文献
[1] 刘涛. 独立学院人才培养质量体系的构建[J]. 大学教育科学， 2009， 3（3）： 43-46.
[2] 励建安. 辞旧迎新， 继往开来[J]. 中国康复医学杂志， 2019， 34（1）： 1-3.
[3] 教高[2019]8号， 教育部关于一流本科课程建设的实施意见[EB/ OL]， 中华人民共和国教育部， 2019. 10. 31 http： //www. moe. gov. cn/srcsite/A08/s7056/201910/t20191031_406269. html
[4] 吕智海， 姜志梅， 张伟， 等. 康复治疗学本科临床技能多站式考试模式的评价[J]. 中国康复理论与实践， 2012， 18（3）： 296-298.
[5] 姜志梅， 吕智海， 张伟， 等. 康复治疗学本科专业临床技能多站式考核的研究与应用[J]. 中国高等医学教育， 2012， 26（9）： 52-54.
[6] 张敏强. 教育测量学[M]. 北京： 人民教育出版社， 2014. 4， 35-44， 80-97
[7] 涂艳国. 教育评价[M]. 北京： 高等教育出版社， 2007. 3， 130-144
[8] 王娜， 庞晓丽. 助产专业OSCE技能考核体系的创新和应用[J].中国高等医学教育， 2019， 33（7）： 66-67.
[9] 吴洁， 赵琳， 李艳红， 等. 客观结构化临床考试OSCE在MBBS留学生儿科学期末考核中的应用和成绩分析[J]. 医学教育研究与实践， 2017， 25（5）： 709-711， 715.
[10] 刘亮. 对OSCE的不足及改进措施的探讨[J]. 医学理论与实践， 2013， 26（10）： 1394-1395.
基金项目：南京医科大学康达学院2018年度教育研究课题“临床客观结构化考核应用于康复治疗学专业学生毕业技能操作考试的研究”（编号：KD2018JYYJYB005）
作者简介：王舒婧（1991.06-），女，汉族，江苏连云港人，硕士在读，实验师，主要研究方向为康复教育。