智适应学习系统的学习效果及其影响因素研究

来源 :数字教育 | 被引量 : 0次 | 上传用户:furong2599
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:智适应学习系统究竟是否会对学习效果产生积极影响?哪些关键因素会影响智适应学习系统的学习效果?研究采用量化元分析的方法,对近20年来国际上有关智适应学习系统的学习效果的60项实验与准实验研究进行分析和评价。研究发现:(1)智适应学习系统提升学习效果的综合效应值为0.560,即智适应学习系统对学习具有中等程度的正向促进作用;(2)实验周期、样本容量都在一定范围内表现出较好的影响效果;(3)大学学段和知识水平较低的学习者从智适应学习系统中获益较多;(4)自适应等级越高对学习者的学习越有利,人机协同教学方式更有效。最后,本文基于研究结论对智适应学习系统的开发与应用提出建议与展望。
  关键词:自适应学习;人工智能;智适应学习;元分析
  一、问题的提出
  近年来,人工智能技术进入快速发展阶段,人工智能教育工具层出不穷并得到广泛应用,如拍照搜题、分层排课、作文批改等。然而,这些人工智能教育工具只应用在学习过程的辅助环节上,不能直接提升教学质量和学习效果。自适应学习系统利用BKT(贝叶斯知识跟踪)、PGM(概率图模型)等智能算法,能够基于学习者的学习风格与能力,为每个学习者量身打造学习路径,实现规模化的个性化学习。早期的自适应学习系统以机器学习、CAI(计算机辅助教学)等为基础,其最典型的应用就是20世纪90年代出现的ITS(智能导师系统)。2010年以后,以Knewton、ALEKS、Dreambox Learning等为代表的自适应学习系统大范围普及。特别是近年来,随着深度学习算法的日渐成熟,自适应学习技术的智能特征不断进化,“智适应学习”这一术语更能够反映出该领域的最新进展。
  关于IALS(智适应学习系统)对学习效果的影响,目前大致存在两种观点:第一种观点认为智适应学习系统对学习效果有积极影响。如汪维富等对1990年以来ITS提升学业成就的相关研究進行量化元分析,得出ITS能在一定程度上提升学业成就,并且发现实验持续时间、测试类型、样本量对实验效果有明显影响[1]。第二种观点认为智适应学习系统对学习效果无显著影响。有学者对CIT(智能辅导系统)进行了评估,结果表明:实验组和对照组在测试后都有所改善,但两组之间并没有显著性差异[2]。
  鉴于智适应学习系统是否能够提升学习效果的研究结论并不一致,对现存所有研究结果进行全面严谨的整合分析是非常必要的。元分析方法能通过整合多个相关独立研究结果得出平均效应量,并对整体研究状况进行系统分析与评价,常用于解决各研究结果不一致的问题,然而文献调研并未在智适应学习领域发现此类研究。尽管汪维富等[3]利用元分析方法探讨了学习者特征(如学生所处学段、先验知识水平)、发表特征(如发表年份、发表类型)和研究设计特征(如样本容量、学科、持续时间)等变量对ITS学习效果的影响程度,但这些变量与智适应学习系统的教学特性并无直接联系。比如:智适应学习系统的适应性是否水平越高,学习效果越好?不同的教学整合方式是否会产生不同的教学效果?智适应学习系统与普通在线学习系统相比,学习效果更好吗?已有的元分析研究尚未给出回应。
  综上,本研究拟采用量化元分析的方法对2000—2020年国外权威刊物上发表的60项智适应学习系统学习效果的实验与准实验研究进行深入剖析,并且从IALS的自适应等级、教学整合方式、实验对比的教学方式三个新角度探究智适应学习系统的学习效果,以期得出智适应学习系统的学习效果及其影响因素,为后续智适应学习系统的研究与应用提供参考经验。
  二、研究过程与设计
  (一)研究方法
  本研究使用的元分析工具是CMA 2.0,通过将提取的原始数据输入CMA 2.0软件,生成每个样本的效应量,计算出所有研究的平均效应量,并据此进行显著性差异分析。本研究采用平均标准差 d作为效应量。
  (二)文献搜集与选取
  以智适应学习系统和学习效果为关键词,首先,在SpringerLink、EBSCO Education Source、Wiley、Science Direct、Web of science等国外权威文献数据库中对2000—2020年间发表的文献进行大范围交叉检索。其中,智适应学习系统的关键词为“adaptive learning systems”“personalized intelligent learning system”“intelligent e-learning system”“intelligent tutoring system” 等,学习效果的关键词包括“learning outcomes”“learning achievements”“learning effect” “learning performance”“learning gains”等。其次,对目前已经比较成熟且应用较为广泛的智适应学习系统(如Knewton、ALEKS、Dreambox Learning等)进行专题搜索。筛选去除与主题不符以及重复的文献后,再从已获取文献的参考文献中二次检索,最终共产生796篇候选文献供进一步遴选。
  文献遴选的标准包括:(1)必须应用了自适应学习系统或自适应学习平台,且必须是关于学习效果的研究;(2)应用的自适应学习系统或平台必须基于人工智能算法,如:贝叶斯知识跟踪(BKT)、深度知识跟踪(DKT)、深度神经网络(RNN)、概率图模型(PGM)、协同过滤算法(CF)等;(3)必须是一个随机实验或准实验研究,单组实验需要有前后测的对照,双组实验必须包含一个在自适应环境下的实验组,以及与之相对应的对照组;(4)必须有可用于计算相应效应量的完整、清晰的统计数据结果。
  最终共有60项符合标准的独立研究被纳入元分析(其中可用效应量共81个)。
  (三)文献编码
  本研究的文献编码包含两部分:常规型变量和教学型变量。常规型变量是以往研究提到过的,包括:实验周期、样本容量、研究学段、测试类型以及学习者先验知识水平。教学型变量是本研究提出的,包括:系统自适应等级、教学整合方式、实验对比的教学方式。在参考以往研究的基础上,根据获取的60项独立研究的实际情况完成编码,编码表如表1所示。为保证研究的可靠性,本研究中的编码由两位研究人员独立完成,其中不一致的编码由两位研究人员共同商榷。   三、研究结果与分析
  (一)发表偏倚检验
  当入选的研究样本不能系统地代表该领域的研究总体时,就被认为发生了发表偏倚[4]。本研究使用漏斗图法评估纳入研究样本的发表偏倚,结果见图1。
  图1中横轴表示平均标准差效应值,纵轴表示效应值的标准差。从图中可以看出,60项独立研究大部分集中分布在漏斗图的中上部,且各样本效应量在平均效应量的两侧对称分布。因此,纳入的研究出现发表偏倚现象可能性不大,所得数据分析结果具有可靠性。
  (二)智适应学习系统对学习效果的整体效应检验结果
  将60项研究的样本数量、实验组和对照组前后测的均值、标准差等数据输入CMA 2.0软件,通过分析智适应学习系统对学习效果的整体效应检验结果可知,I2值为85.305,明显高于50%并且Q值检验显著(p<0.001),说明最终入选的60项独立研究存在明显的异质性,因此,本研究的计算模型采纳随机模型。根据Cohen(科恩)的效应值统计理论,当效应值d≥0.5时,通常认为有中等影响。即智适应学习系统对学习效果具有中等以上程度的积极影响。
  (三)常规型变量对智适应学习系统学习效果的影响
  为了进一步探讨哪些关键因素会影响智适应学习系统的学习效果,本研究还考虑了实验周期、样本容量、学习阶段、测试类型、学习者先验知识水平等对学习效果的影响。数据分析结果见表2。
  从实验周期来看,当实验周期控制在四周以内时, 智适应学习系统对学习的促进作用最大, 大于1个月、小于6个月时促进作用略有减少,超过6个月之后影响水平大幅降低。
  从样本容量上看,智适应学习系统对于容量小于50的用户群体的学习促进效果最好,当样本量高于200后,效应量大幅降低。
  从不同学习阶段来看,智适应学习系统对中小学的促进作用相差不大,均处于较低水平且未达到中等程度,但对大学阶段的学习作用效果明显高于其他学段。
  从测试类型来看,虽然智适应学习系统在两种测试类型上都表现出一定程度的学习促进作用,但标准测试的效应值并不具有统计学差异(p>0.05),这可能是因为相关研究数量不足,即目前智适应学习系统的应用研究大多使用的是研究者自行设计的学习测验。
  从学习者先验知识水平来看,智适应学习系统对知识水平较低或正常的学习者都有中等偏上程度的促进作用,对知识水平较低的学习者的学习促进效果更明显。
  (四)教学型变量对智适应学习系统学习效果的影响
  通过分析表3可知:从自适应等级来看,随着自适应水平的提高,智适应学习系统对学习的促进作用也逐渐提高。从教学整合方式来看,人机协同方式的学习效果明显优于纯线上的学习方式。从对比的教学方式来看,智适应学习系统的学习效果优于传统教学、普通在线学习(没有个性化动态评估/指导)以及适应性水平较低的在线学习。
  四、研究结论
  (一)智适应学习系统对学习效果具有中等程度的正向促进作用
  在纳入本研究的60项独立研究中,90%(54项)的研究都显示出智适应学习系统对学习效果的显著积极影响,合并后的平均效应量为0.560,95%(57项)研究的效应量处在0.449到0.670之间,这与汪维富等的研究结果基本一致。汪维富等人得出ITS与学业成就之间呈显著的积极相关,合并后的平均效应量达到0.492,95%研究的效应量处在0.408与0.577之间[5]。由前文文献搜集部分可以看出,智适应学习系统的范围较大,包括基于人工智能的ITS,但并不是完全重合,因此,本研究的效应量与该研究稍有偏差也处于合理范围。
  (二)实验周期、样本容量都在一定范围内表现出较好的影响效果
  实验周期在四周内的效应量最大,随着周期增长,影响水平逐渐降低,这与宋伟等[6]对数字化学习资源、顾小清等[7]对电子书包的学习作用进行的研究结果基本类似。出现上述结果可能是由于随着实验时间的延长,学习者逐渐适应研究中所使用的资源与技术,获得的收益逐渐减少,从而导致影响效果逐渐降低。
  样本容量在超过200后,平均效应量显著降低,在汪维富等[8]的研究中也同样发现了这一临界点。这可能是缘于大样本中学习者个体差异较大以及有教师参与辅助的教学过程中人数过多会对实验结果造成影响。
  (三)大学学段和知识水平较低的学习者从智适应学习系统中获益较多
  本研究发现,相比于中小学,智适应学习系统对大学生的学习促进作用更大。对此可能的解释是:利用智适应学习系统进行学习,需要学生具备良好的主动学习能力,中小学阶段的学生更加需要教师的引导和鞭策,相比而言,大学生有较好的自主学习能力,主动学习的积极性更高,因此更适合利用智适应学习系统辅助学习。
  知识水平较低的学习者更能从智适应学习系统中获益,这一现象在理查德.E.梅耶(Richard E.Mayer)[9]所开展的大量多媒体学习实验研究中也普遍存在,即相较于知识水平较高的学习者,知识水平较低的学习者更能从基于各种原则而设计的多媒体学习材料中受益。
  (四)自适应等级越高对学习者的学习越有利,人机协同教学方式更有效
  智适应学习系统借助的技术越发达,越能精确诊断学习者的知识掌握情况,为学习者提供个性化的实时指导与干预[10]。本研究依据系统的个性化反馈程度对自适应等级进行了划分,从本研究得出的不同适应性程度的系统对学习效果产生的效应量来看,“每一步反饋”系统>“阶段反馈”系统>“入口反馈”系统。此外,从实验对比的教学方式来看,使用智适应学习系统的学习效果优于普通在线学习方式和传统教学方式(其中传统教学方式的促进效果最低)。这两点都说明自适应等级越高,智适应学习系统的学习效果越明显,对学习者的学习越有利。   从本研究的分析结果来看,“人机协同”方式的学习效果优于纯线上教学方式。智适应学习系统与教师的关系是相互促进的,目前智适应学习系统算法在应用上还不稳定、不成熟,教师的引导和辅助可以缓解和改善这一情况,教师可以增强系统的教育智慧,系统也可以增强教师开展教育工作的能力。因此,教师和智适应学习系统同时参与的教学过程对促进学习效果更有效。
  五、建议与展望
  (一)智适应学习系统的开发:更加关注自主学习能力的培养
  在线学习效果与自主学习能力密切相关,这一观点在之前的一些研究中就已被认可。与传统的课堂教学相比,在线学习在时间和空间上都更加灵活,学习者的自主学习能力非常影响其学习效果。然而单纯的在线情境或只是简单将面授课程的内容和方式原封不动地迁移到在线学习中,不利于激发学习者自主学习能力的发挥[11]。未来智适应学习系统应多关注如何培育学生的自主学习能力,如在系统中设计特定的学习任务,给学习者提供运用多样化学习策略的机会;为学习者提供具有交互式体验的学习环境、扩充教育游戏资源、开展游戏化教学活动,增强学习者的在线学习交互体验;利用在线学习平台的后台数据,提供实时反馈,提高学习者对其知识掌握程度的自我认知,培养其反思及调整等自主学习能力。
  (二)智适应学习系统的教育应用:教师角色的转变与能力的提升
  未来教育一定是人类教师与人工智能协同存在的时代,但人工智能的迅速发展也确实给教育特别是教师这一角色带来巨大影响,以往烦琐、机械、重复的工作都可以被人工智能取代,这大大减轻了人类教师的负担,而教师的重心将转移到“育人”上来,人类教师将更有精力去培养学生的精神能力,比如同情心、创意、审美等。教师应该深刻认识自身的定位转变,充分发挥其作为教学策略的施行者、学习的监管者、学生的引导者的作用。同时,教师作为帮助人工智能与学生更好地进行交互的“桥梁”,应该提升自己的自适应技能,储备足够的知识,改良设计适合自适应学习的教学结构与教学方法。
  (三)智适应学习系统的未来展望:巩固基础教育水平、促进教育公平
  在教育信息化促进教育公平的相关研究中,熊才平等[12]发现:信息技术对于促进薄弱地区教育资源配置、教学研修等方面更能发挥作用。智适应学习系统能够给知识水平较低的学习者提供传统班级授课模式下无法比拟的更多个性化辅导。根据布卢姆的掌握学习理论,丰富而及时的个性化辅导和支持能够让学习者从中获益,即使知识水平较低的学习者也能达成学习目标。由此可以预见,当教育教学以每个学生掌握课程标准为目标时,智适应学习系统将在巩固基础教育水平、促进教育公平方面发挥重要作用。
  六、结语
  本研究对近20年来国外权威刊物上发表的有关智适应学习系统对学习作用效果的60项研究进行了量化元分析,得出了智适应学习系统对促进学习的整体影响效果,并从多个维度探讨了其影响差异。最后,基于研究结论对未来智适应学习系统的开发和应用提出建议与展望。智适应学习系统对学习的促进作用还有很大提升空间,在未来的开发中应多关注如何培养学生的自主学习能力,教师应认识自身的角色转变、提升自身能力。如何充分发挥智适应学习系统的优势,使其在巩固基础教育水平、促进教育公平方面发挥重要作用,是未来一项重要的研究课题。
  [1][3][5][8]汪维富,毛美娟,闫寒冰.智能导师系统对学业成就的影响研究:量化元分析的视角[J].中国远程教育,2019(10):40-51.
  [2]MITROVIC A,MARTIN B,SURAWEERA P.Aspire:An Authoring System and Deployment Environment for Constraint-Based Tutors[J].International Journal of Artificial Intelligence in Education, 2009,19(2):155-188.
  [4]VIECHTBAUER W.Publication Bias in Meta-Analysis:Prevention,Assessment and Adjustments[J].Psychometrika,2007,72(2):269-271.
  [6]宋伟,孙众.数字化学习资源有效性的元分析[J].中国电化教育,2013(11):81-85.
  [7]顾小清,胡梦华.电子书包的学习作用发生了吗?——基于国内外39篇论文的元分析[J].电化教育研究,2018,39(5):19-25.
  [9]MAYER R E.The Cambridge Handbook of Multimedia Learning:In-  troduction to Multimedia Learning[J].Information Design Journal,2005,  16(1):81-83.
  [10]李振,周东岱,刘娜,等.人工智能应用背景下的教育人工智能研究[J].现代教育技术, 2018,28(9):19-25.
  [11]黄振中,张晓蕾.自主学习能力对在线学习效果的影响机制探究:兼論在线学习交互体验的中介作用[J].现代教育技术,2018,28(3):66-72.
  [12]熊才平,何向阳,吴瑞华.论信息技术对教育发展的革命性影响[J].教育研究,2012,33(6):22-29.
  (责任编辑 孙兴丽)
其他文献
【摘 要】科学是与我们生活息息相关的学科,科学教学当然应该向生活敞开,新课程理念也强调课程要回归生活、面向生活。因此,在新课程理念背景下的科学教师应该在课堂教学与课外活动中渗透生活化教育,是既必要又可行的。科学课堂教学中实施生活化教育,是着重培养学生的应用意识,而在科学实践活动课、课外实验活动、科学小论文、科学课题研究等恰是学生在课外活动时间亲身体验科学、理解科学就在自己身边的教育的有效载体。  
期刊
【摘 要】一个称职的教育工作者,不光要重视知识的传授更应该重视做人的准则;而做人,不光要教给学生如何做人,更应该自己做到身正为范,用自己的人格魅力去影响学生。而这当中最重要的就是尊重并平等地对待每一位学生,在尊重学生的过程中,让学生也学会尊重他人。师生互相尊重,才能让师生关系更为融洽。  【关键词】教师 学生 尊重 平等  在一次 语文课上,我忽然发现有两位平时表现还算不错的男生对我的课不那么感兴
期刊
摘 要:本研究考察学习者情绪状态对沉浸式虚拟图形加工认知负荷的影响,同时探讨情绪状态与认知任务特征(项目数量和呈现时间)的交互作用效果。结果显示:(1)学习者在积极情绪状态下,虚拟图形识记的主、次任务绩效表现更好,投入心理努力更高。(2)情绪状态与呈现时间的交互作用显著影响次任务正确率:呈现时间为0.5s时,积极情绪状态下的次任务正确率高于消极情绪;0.8s时,两者无显著差异。(3)情绪状态与项目
期刊
【摘 要】随着改革开放的进一步深入和发展,经济全球化迅速成为经济发展的主流,企业面临着资源配置和市场信息等要素带来的诸多不确定因素,在筹资、投资和营运活动的决策中势必要结合一些财务指标,以此作为决策的依据。本文试从财务分析法入手,对财务比率的局限性及改进措施进行分析。  【关键词】比率分析法 局限性 措施  现代企业是多种利益相关体所组成的契约组织,财务分析是各利益相关者决策的依据。我国目前常用的
期刊
【摘 要】本文从计算机多媒体技术影视后期方向的课程计划出发,探讨在当今形式下高职教育如何进行“分段分模块”人才培养。  【关键词】分段分模块 高职教育 计算机多媒体技术 影视后期 课程计划  近年来,我国高等职业教育发展非常迅速,但与此同时,一方面社会对高职计算机专业人才需求旺盛,而另一方面高职院校却培养不出适应市场需求的人才,从而导致学校培养的大量计算机人才找不到合适的用人单位,这种现象给企业和
期刊
摘 要:作者在学校进行问卷调查,统计并分析了直播教学效果、直播教学困扰、直播教学学习状态等七个方面的学生反馈;以“电工与电子技术”为例,分析了网络直播教学中存在的主要难题,包括学习兴趣难激发、学习过程难管理、学习活动难开展、学习效果难评价四个方面。从依托网络优势激发学生兴趣、聚焦学习目标开展差异化教学、通过任务引领丰富学习活动、建立试题库科学评价学习效果四个方面提出了解决措施。  关键词:网络直播
期刊
去年底,笔者就2012届毕业生的就业情况进行了专题调研分析,试图找寻到中职学生就业的具体情况及存在的问题,并针对这些问题探寻提升中职学生就业能力的方法,以期让他们走出校门前,就业能力能够得到有效的培养,从而能顺利获得就业岗位、提高就业质量。  一 、基本情况  张家港市第二职业高级中学2012届共有中专毕业生355名,涉及机电、服装、旅游、烹饪、动漫、光电、财会、物流等8个专业,实际就业354人,
期刊
摘 要:如何设计在线学习项目是教师关注的重要议题。本研究从在线学习中常见的学习支持不足、学习参与程度不高、学习层次有待提升三个问题入手,借鉴设计思维理念与方法,提出在在线学习中应用设计思维有助于教师创新学习设计、助力学生问题解决、推动知能应用、提升创造性水平,并从学习目标、学习路径、师生角色、学习任务、学习共同体、学习动机以及学习活动设计七个方面总结了在线学习项目设计方法,以期为在线学习实践提供参
期刊
摘 要:本文以动漫课程小学阶段STEAM教育研究为载体,分别从STEAM课程的建设框架与理论依据、跨学科整合实践、情境体验与协作性设计、项目设计与成果实证性四个方面来详细阐述具体做法。在课程内容上,艺术融合了美术、音乐等素养课程;工程技术与数学融合了Python编程与简单算法、Scratch模块化编程、3D动漫模型设计与制作等技术类课程;在教学形式上,为更有效进行跨学科教学的课堂实施,积极实践本地
期刊
【摘 要】土地利用总体规划数据库的是土地科学管理的关键,在土地利用总体规划数据库的建立过程中,规划信息的采集及处理工作非常重要,本文结合武汉中地数码科技有限公司基于MAPGIS平台开发的土地利用规划辅助编制系统的编制方法,对规划数据的采集入库及数据入库的处理方法进行了探讨。  【关键词】规划 数据库 MapGIS 编制系统  一、引言  土地利用总体规划(以下简称“规划”)是国家实行土地用途管制的
期刊