论文部分内容阅读
x [摘 要] 围绕如何界定MOOCs学习完成率、哪些学习过程变量有效影响/预测学习者学完MOOCs两个问题，文章对近五年发表的相关实证研究进行述评。分析发现，当前研究已逐渐正视MOOCs学习的特殊性，从不同角度对MOOCs完成率进行多元界定，反映出研究者对MOOCs学习过程及实效的重视。尽管诸多研究发现，影响学习者完成MOOCs的因素涉及学习者、学习环境、学习过程交互等多个方面，但这些研究大都侧重对学习者外显行为变量进行描述、观察和归纳，疏于从教与学的角度将学习行为数据与学习效果及思维品质的变化建立联系。研究认为，深入理解MOOCs学习留存问题，应充分考虑在线学习者学习需求和学习过程的复杂性。构建行为数据分析与学习理论延展的联结点，开展基于设计的研究，探索有效增进在线学习者的积极性、知识构建品质和深度理解水平的学习设计方案，或是未来的方向。
[关键词] MOOCs; MOOCs完成率; 学习过程及效果; 学习留存问题
[中图分类号] G434 [文献标志码] A
一、问题引入
MOOCs从2012年在全球范围内兴起至今，一度引领教育变革之风潮[1]。短短几年，包括美国“Coursera”“Edx”“Udacity”、英国“FutureLearn”、澳大利亚“Open2Study”、中国“学堂在线”与“中国大学MOOC”等MOOCs课程平台已成规模。然而，大量研究显示，MOOCs的完成率①约在5%～10%之间[2]。较低的完成率使MOOCs持续推进和发展面临挑战，受到课程开发者、管理者和教育研究者的关注。围绕MOOCs学习完成率，当前研究着力探讨学习者特征、学习动机、学习参与状况等与完成率之间的关系，研究关注点从探寻“MOOCs完成率是多少”，逐渐转向对“如何理解MOOCs完成率”，以及“较低的完成率受什么影响”等议题的追问[3]，试图在教育大数据视域下进一步揭示在线学习过程及效果的规律与实质。
聚焦“如何界定MOOCs学习完成率，哪些学习过程变量（指标）有效影响/预测学习者学完MOOCs”两个问题，本文尝试对近五年发表的相关实证研究展开分析，旨在全面刻画既有研究中关于MOOCs学习者学习留存问题的分歧与共识。为更好地展现MOOCs学习过程及结果的复杂性，我们借助伊列雷斯（Illeris）[4]的学习分析框架呈现有效影响/预测MOOCs学习完成率的学习过程变量或指标。在此基礎上，本文继续探讨MOOCs学习及其学习者留存问题的特性和目前研究的局限，为深入理解MOOCs学习完成率，进一步探索以MOOCs为代表的大数据教育实证研究的延展路径与边界等问题提供启示。
二、文献来源
本研究以Web of Science数据库和中国知网数据库为基础，采用“MOOCs”“Dropout”“Completion”“慕课”“学业完成”“学业流失”等关键词系统地进行文献检索。被检索文献为2014年至2018年间发表于主流国际期刊（含SSCI期刊）、国内CSSCI刊、国际会议及论文集中的52份研究①。这些研究的数据来源于Coursera、FutureLearn、edx、Harvardx、Open2Study、Miríadax（西班牙文）、学堂在线（中文）和中国大学MOOC（中文）等MOOCs平台学习者的在线行为数据与自陈报告数据。
为保证文献研究的有效性，我们进一步对检索文献进行筛选。筛选标准包括：（1）文献为实证研究（剔除非实证研究类文章，如研究综述、观点探讨等）;（2）研究问题聚焦课程完成率或流失率（剔除如研究目标是改进某一种算法，或比较两种算法效率的文章）;（3）明确说明了数据来源或分析的课程对象;（4）明确界定MOOCs完成率，且研究结论回应MOOCs完成率等相关议题。基于以上标准，本文从搜集到的52份实证研究中选出了29份符合要求的文献展开分析。这些文献基本信息见表1，在本文所分析的问题上具有代表性。
三、研究发现
（一）MOOCs学习完成率如何界定
本文分析的29篇相关文献对MOOCs学习完成率的界定呈现出四种类型。
首先，超过一半的研究将课程成绩或取得证书作为界定MOOCs学习者完成学业的主要依据。这些研究多将学习者参与课程过程中所有考试及成绩作为学习者的最终成绩[11，14，19，24，28]。也有研究将缺席最后考试的学习者视为弃课学习者[31]。
其次，部分研究者依据学习行为数据，根据MOOCs学习者的学习行为持续时间或活跃度判断其是否弃课。例如，陈云帆等将“最近一周内或三周内没有学习活动”视为弃课的标志[5];在申纳（Sunar）等人的研究中，学习记录超过六周的学习者被定义为完成课程，否则即为弃课[18];辛哈（Sinha）等人将最后一周没有学习行为数据记录的学习者视为弃课[6]。此外，还有研究从学习者群体的角度进行定义，将看过一门MOOC最后一个模块的学习者数量与看过第一个模块的学习者数量之比界定为完成率。
再次，约有超过10%的研究结合“课程成绩或证书”和“学习活跃度”等指标对MOOCs学习者进行分类，并对不同类型学习者的学习完成情况加以界定。例如，霍恩（Hone）等用三方面指标来综合界定学习者完成情况[21]：（1）是否获得证书;（2）作业完成情况（全部完成、大部分完成、完成一半、完成一部分以及未完成）;（3）视频观看情况（完全看过、看过大部分、看过一半、看过一部分以及未看过）。伊文斯（Evans）等通过四个指标界定了四类MOOCs学习者及其留存情况[23]，即视频观看超过20%、视频观看超过80%、获得证书、获得证书且视频观看超过20%等。恩格尔（Engle）等人依据学业完成或考试参与情况对课程注册学习者进行分类[15]，包括未完成任何考试、完成部分考试、完成全部考试但未通过、通过但未获得好成绩、通过且获得好成绩等五个类型。 学习投入时间变量。当前还有研究发现，MOOCs学习者学习的持续投入时间对其留存有显著的预测性[23，34]。例如：冈萨雷斯（González）等人发现[34]，那些留到MOOCs课程进程的第二个四分位数（Second Quantile）的学习者（MOOCs课程的第二或者第三个星期，或第二、第三个模块），其学习行为对于其完成率的预测有较高的解释力。换句话说，在MOOCs课程进程中“第二个四分位数”留下的学习者，完成课程的可能性大。这部分学习者也是MOOCs教师和课程设计者须重点关注的群体。
3. MOOCs学习环境维度
伊列雷斯认为，学习环境分为“系统化环境”和“社会化环境”两个层面[4]。前者是结构化的学习环境，后者关注学习过程中营造的人际互动、社会联结、文化氛围等“软”环境。对于MOOCs学习环境来说，结构化的课程学习硬件环境包含课程设计、课程内容、内容长度、测验系统、考试评分系统、反馈系统甚至学习干预系统等。而教师（或助教）的支持即为MOOCs社会化学习环境的重要元素。
MOOCs结构化学习环境变量。已有研究中，MOOCs课程的公众口碑（该门课是否出自名校）和课程的开放性（该门课的课程资源是否可以随时获取）均对学习者持续学习亦或弃课有较高的预测价值[16，23，30]。对于那些来自欠发达地区（例如非洲）的学习者来说，资源的缺乏（包括资金、基础建设、网络等）对其参与和完成MOOCs學习的阻碍较大[23]。
值得注意的是，MOOCs学习环境设计形式很大程度上影响学习者的去留[12，20，23]。伊文斯等人发现，课程内容按先后逻辑顺序排列，并在每个讲座视频中增加标题或相应的提示性文字，对留住学习者有一定的帮助[23]。如果MOOCs课程讲座视频能够包含生动的动画设计、主题富于故事性、贴近生活、短小简洁、音效好、插入简短介绍或能体现一定的实用性等，本身就是留住学习者的有效策略[23]。乔丹发现，课程长度、发布时间及评分方式对MOOCs完成率有重要影响;其中，课程越短完成率越高，课程发布时间越近完成率越高[12]。
课程内容、授课质量、测验难度等也在很大程度上影响着MOOCs完成率[2，20-21，30]。如弗雷塔斯指出，测验难度对构建和维系学习者心流（Flow）经验具有重要作用[2]。这在很大程度上体现了学习者心流经验对驱动其持续学习的重要性[35]。此外，MOOCs学习情境中自动化学习行为（或作业）反馈，如学生测验的自动批改、成绩反馈、学习诊断报告等，给予学习者及时反馈和学习干预，对提升其完成率有较大影响[12，17，32]。
MOOCs社会化学习环境变量。在MOOCs学习环境中，教师支持是营造社会化学习环境的重要变量[8，28，32]。格雷戈里（Gregori）研究发现，“教师在场性（Teacher Presence）”即MOOCs教师（助教）与学生的互动，包括每个模块开始之前进行点评、持续提供必要的学习资源、鼓励论坛中的社会性参与等，对学习者能否成功学完MOOCs具有重要的预测作用[32]。
另外，同伴支持的在线学习共同体环境创设也有助于提升课程完成率。当前有不少研究者开展以“改良”MOOCs社会化学习环境的准实验研究或设计研究，有意识将富媒体资源开发、移动界面应用、游戏化等整合到MOOCs教学设计中，增强MOOCs学习的社会交互性，进而提升课程完成率[2，22]。
综上，本文分析的29篇相关文献中呈现了各类影响/预测MOOCs完成率的变量，展现出MOOCs学习过程及学习者留存问题的复杂性（如图1所示）。同时，从图1可以看出，研究者识别和提取的MOOCs学习过程变量集中于外显化的表层学习行为类数据。在学习者与MOOCs学习环境的交互维度，研究者普遍识别的交互学习变量集中于“视频点击、观看、复看的数量”和“论坛发帖数”等学习行为。在学习者的个体学习维度，与学习者个人相关的背景信息和能力准备等指标，如学历（或教育背景、先前知识）、课前自主学习能力等，备受关注。在MOOCs学习环境维度中，当前绝大多数研究者将关注点集中于结构化的MOOCs学习环境变量，考虑如视频剪辑制作、课程测验难度、自动化评分反馈等课程和学习环境设计的微观变量对学习者留存的影响。这种趋势与MOOCs学习平台大规模在线行为数据特点或数据采集存储技术有关，也反映出MOOCs学习情境区别于传统高等教育及远程教育的特别之处。
四、讨论：如何理解MOOCs学习完成率
（一）对MOOCs学习完成率的界定：从关注“完成的结果”到重视“学习的实质”
通过分析已有研究发现，尽管“课程成绩及证书”依旧是衡量MOOCs学习完成与否的主要指标，但当前学者纷纷从MOOCs学习的特殊性出发，对学习完成率进行多元界定，如基于学习者学习活跃情况预测其是否弃课;分不同类型MOOCs学习者界定其学习完成状况;或基于个体学习需求检视其MOOCs学习完成情况，甚至让学习者来制定评估标准，评估自己的学习效果等。简言之，当前学界对于MOOCs完成率的界定尚未达成普遍共识。
深入分析，无论基于学习行为活跃度，还是分类界定MOOCs学习者群体的学习完成情况，或从个体学习需求出发检视MOOCs学习的结果，不同学者提出的对于MOOCs完成率理解的多种“版本”，反映出当前诸多研究者都意识到，有必要超越以“课程成绩及证书”等单维指标界定MOOCs完成率，转为从学习者“实质参与（Engagement）”MOOCs学习的角度，构建我们对多样化MOOCs学习者的学习过程及结果的理解。
事实上，MOOCs作为一种区别于正式学习场域、以大数据作为支撑系统的、独特的教育和学习环境，充满了过往正式教育中难以想象的多样化学习者及其多元的学习需求、意图和动机[33]。正如德波尔（Deboer）等人研究所展现的（如图2所示），由于大量学习者可在学习进程中的任何时候进入或退出课程，MOOCs学习者事实上创生了数量巨大的非线性、非程序化的学习过程路径。而正视MOOCs学习过程的复杂性，意味着审慎合理地认识MOOCs学习结果（完成情况）须突破单维度分析的视角。具体来讲，构建包含多种过程性指标为依据的MOOCs学习者个人学习档案、学习问题诊断报告及学习建议，综合宏观和微观等多类指标对其加以展现，是对MOOCs学习者留存问题探究的基点。 （二）影响/预测MOOCs学习结果的因素：以外显学习行为变量为主导及其利弊
进一步分析发现，已有研究识别和提取的有效影响/预测学习者完成MOOCs的学习过程变量显现出一定的偏好和集中趋势。诸多研究关注并验证了学习者个体维度、学习者与学习环境交互以及学习环境等维度中外显的行为类变量对MOOCs学习完成有预测作用。如在学习者的个体学习维度，诸多研究者关注与学习者个人相关的背景信息和能力准备等指标，如学历（或教育背景与先前知识）、课前自主学习能力等。相比之下，与学习者学习过程中知识能力、思维品质、情绪体验（如积极、或厌倦情绪等）的动态变化及其与MOOCs学习留存的关系，研究探讨则较少。在学习者与MOOCs学习环境的交互维度，研究者普遍识别出大量交互学习变量，如“视频点击、观看、复看数量”和“论坛发帖数”等学习行为对MOOCs学习结果的预测性。而对于交互学习过程中学习者如何感知、参与和投入多样化的学习活动，通过参与这些学习活动，学习者在交互学习过程中知识构建的质量、深度理解水平及身份意识建构等对于其学习结果的影响，都缺乏深入探讨。在MOOCs学习环境维度，当前绝大多数研究者将关注点集中于结构化的MOOCs学习环境变量，考虑如视频剪辑制作、课程测验难度、自动化评分反馈等课程和学习环境设计等客观变量对学习者留存的影响。相比之下，MOOCs社会化学习环境中教师支持、同伴合作以及学习共同体培育等变量对学习者持续学习的影响，相关研究较少。
概括来说，已有研究展现的图景喜忧参半。“喜”在于，这些研究基于大规模学习平台数据，或结合部分学习者调查数据，运用学习分析工具或教育数据挖掘（Educational Data Mining）技术，通过爬取、识别和分析显性学习行为变量（如视频点击、讨论区跟发帖、作业提交、平台自动化测评反馈等）有效预测了MOOCs学习完成率。进一步离析学习者学习过程中外显性学习行为大数据，也让我们清晰地认识到MOOCs学习者学习过程的空前多样性和复杂性。“忧”在于，当前MOOCs学习及其学习者留存问题研究大都依赖“数据驱动”的思路，研究发现多停留于对“行为数据”的描述、观察和归纳。但事实上，无论数据描述和归纳，还是数据挖掘或机器学习算法，由于缺乏对MOOCs教学情境的认识，部分数据分析结果并无教育学意义或价值[37]。不乏存在研究设计及研究发现趋同的问题。不仅如此，所谓“用数据说话”的思路，基于平台“点击类”学习行为数据的分析或计算，很难推及对MOOCs学习者高水平（高阶）的学习效果及学习品质的深入认识[38]。换句话说，这些研究的设计并未较好地与已有学习理论建立联系（无论验证理论、拓展理论或构建理论）。这些研究发现与结论也很难层层深入、持续增进我们对MOOCs学习环境中“学习如何发生”这一问题的理解。
那么，如何认识MOOCs研究中“点击类”学习行为变量的利与弊？事实上，就目前可获取的学习者外显学习行为数据，结合学习理论拓展数据挖掘或数据建模，皆是未来探究MOOCs学习过程及留存问题的可能路径[33]。具体来说，研究者或者研究团队在正视MOOCs教学过程复杂性基础上，可通过设计或调整教学技术系统，提取教学不同环节的学习数据，让数据的收集、分析和解读扎根到已有对人的学习的研讨中，或许更具启示[38]。但这也意味着，基于大数据的MOOCs学习留存问题研究须集合交叉学科学者开展较为深入的合作探索。学科背景单一、合作程度表浅的研究团队或很难获得突破性的研究成果。此外，反思目前基于大数据的在线学习研究存在的局限，某种程度上，当前以MOOCs为代表的教育大数据，其数据库构建、管理、运用和监督，尚有完善的空间。如何处理MOOCs学习者个人学习历程档案数据库建立，如何规范化MOOCs平台管理和运营，如何对MOOCs学习者个人隐私数据进行监管，以及研究伦理问题等，皆是未来的政策制定者、实践者和研究者需要审慎处理的议题。
（三）增进MOOCs学习留存问题的研究：向基于设计的学习研究拓展
在前述研究中，大多数研究者将关注点集中在MOOCs学习者参与课程学习的外显自然行为数据，或关注结构化的MOOCs学习环境变量（如视频剪辑制作、课程测验难度等），以及学习者与课程内容的交互情况。对于MOOCs社会化学习环境中的教师支持、同伴合作及学习共同体培育等变量对学习者持续学习的影响等问题关注相对较少。甚至有研究者认为，当前的MOOCs在某种程度上更接近一种“去教学化”的学习环境，课程设计者与教师等都不够重视社会化学习情境及教师干预在MOOCs课程与教学设计中的作用[17]。这一研究现状也提醒研究者和在线课程实践者，有必要开展一系列基于学习设计的研究，通过设计和反复迭代，推进我们对于MOOCs学习留存问题的认识。
已有部分研究从持续增进MOOCs学习留存的角度展开，提出了不同的干预方案。例如，为调动在线学习过程中学习者的积极性，博拉斯-基茵（Borras-Gene）等人将游戏元素植入课程设计中，形成游戏化合作型慕课（gcMOOCs）的模式，有39.9%学生完成了课程，这一数字远高于同类MOOCs大约7%的平均完成率[25]。万海鹏等提出构建用于表征学习过程中学习者认知状态变化的学习认知地图（Cognitive Map），即通过表征学习者学习过程数据，对过程中知识学习状态进行可视化处理，预测学习状态，并据此形成符合认知特征的学习资源和人际网络推荐，构建出个性化的自适应学习系统，有效提升在线学习者的学习动机和成效[39]。有研究者运用指导性机器学习算法（Supervised Machine Learning Algorithms）建構时间性的预测模型，在课程不同阶段识别出“可能退课”的学生，以便教师能够适时对他们进行教学干预，提升MOOCs学习留存率[17]。此外，还有研究者试图设计更多结合MOOCs在线学习外的混合式教学活动，试图通过拓展学习者学习空间（如移动界面运用、学习干预、线下学习等），建构多样化的人际交互网络和学习共同体，增进其学习参与性和投入度。以上这些研究，一方面通过对MOOCs学习过程进行不同方式和不同程度的学习设计，揭示学习者MOOCs学习过程中学习动力、知识能力、思维品质等的动态变化;另一方面也从教与学的角度，探索有效增进学习者在线学习过程中学习积极性、知识构建品质和深度理解水平的学习设计方案。上述思路都不失为有益的尝试，为今后拓展大数据背景下以MOOCs为代表的在线学习留存问题研究提供了不同的可能方向。 五、结论与展望
本文对近五年聚焦MOOCs学习者留存问题的文献展开分析发现，关于这一问题的研究在较短时间内取得了丰富成果。作为一种非正式教育和数字化学习环境，MOOCs承载了多元化的学习者和他们多样的学习需求、意图与动机。对MOOCs学习者学习结果单维度的界定，容易以偏概全，无助于我们从学习者多样化的学习参与过程来揭示MOOCs学习的复杂性。当前基于MOOCs学习行为大数据，研究者们通过爬取、识别和分析显性学习行为变量较好地预测了学习完成率，但是，由于缺乏对MOOCs教学情境的认识，这些研究的设计并未与已有学习理论建立很好的联系，难以持续推进我们对MOOCs学习环境及学习者留存问题的深入认识。为增进对MOOCs学习留存问题的理解，从教与学的角度开展学习设计，进而探索有效增进在线学习过程中学习者的积极性、知识构建品质和深度理解水平的学习设计方案，或许是今后研究的方向。
值得注意的是，已有学习理论和学习分析领域关于学习者认知、元认知、情感和动机等的相关理论及数据获取方式，帮助我们从多个方向了解学习者及学习的发生，或许能够对多维度理解MOOCs学习及留存问题提供重要启示[33]。在此意义上，本文结合伊列雷斯的学习分析框架对影响MOOCs学习完成率的过程变量进行概念化分析亦是一次有益尝试。此外，开展以MOOCs为代表的教育大数据实证研究的基础是数据库建设。如何更好地构建数据库，完善数据的管理、运用和监督机制，皆是未来该领域研究展开的前提条件，尚有待教育学、心理学、法学、计算机科学等多学科领域研究者及政策制定者和MOOCs平台实践者之间深入合作，共谋解决方案。
（致谢：本研究得到清华大学（THU）李曼丽教授、美国威斯康星大学麦迪逊分校（UW-Madison）张正军教授、美国佛罗里达湾岸大学（FGCU）张京顺教授的悉心指导和大力支持，特此致谢！）
[参考文献]
[1] PAPPANO L. The year of the MOOC[J]. The New York times， 2012-11-04（26）.
[2] FREITAS S I， MORGAN J， GIBSON D. Will MOOCs transform learning and teaching in higher education？ Engagement and course retention in online learning provision [J]. British journal of educational technology， 2015， 46（3）： 455-471.
[3] 范逸洲，刘敏，欧阳嘉煜，汪琼.MOOCs中学习者流失问题的预测分析——基于24篇中英文文献的综述[J].中国远程教育，2018（4）：5-14.
[4] ILLERIS K. How we learn： learning and non-learning in school and beyond[M]. London & New York： Routledge，2007.
[5] 陈云帆，张铭.MOOCs课程学生流失现象分析与预警[J].工业和信息化教育，2014（9）：30-36.
[6] SINHA T， JERMANN P， LI N， et al. Your click decides your fate： inferring information processing and attrition behavior from MOOC video clickstream interactions[DB/OL].（2014-09-16）[2018-11-20]. http：//arxiv.org/abs/1407.7131.
[7] LIYANAGUNAWARDENA T R， PARSLOW P， WILLIAMS S. Dropout： Mooc participants' perspective[C]// Proceedings of the Second MOOC European Stakeholders Summit. Lausanne： EMOOCs， 2014.
[8] KIM J， GUO P J， SEATON D T， et al. Understanding in-video dropouts and interaction peaks in online lecture videos[C]// Proceedings of the First ACM Conference on Learning@ Scale Conference. New York： ACM，2014.
[9] JIANG S， WILLIAMS A， SCHENKE K， et al. Predicting mooc performance with week 1 behavior[C]// Proceedings of the 7th International Conference on Educational Data Mining. London：EDM， 2014.
[10] 蔣卓轩，张岩，李晓明.基于MOOC数据的学习行为分析与预测[J].计算机研究与发展，2015（3）：614-628.
[11] KOEDINGER K R， KIM J， JIA J Z， et al. Learning is not a spectator sport： doing is better than watching for learning from a MOOC[C]// Proceedings of the second ACM conference on learning@ scale. New York：ACM，2015. [12] JORDAN K. Massive open online course completion rates revisited： assessment， length and attrition[J]. The international review of research in open and distributed learning， 2015， 16（3）：341-358.
[13] HANSEN J D， REICH J. Democratizing education？ Examining access and usage patterns in massive open online courses[J]. Science， 2015， 350（6265）：1245-1248.
[14] GREENE J A， OSWALD C A， POMERANTZ J. Predictors of retention and achievement in a massive open online course[J]. American educational research journal，2015，52（5）：925-955.
[15] ENGLE D， MANKOFF C， CARBREY J. Coursera’s introductory human physiology course： factors that characterize successful completion of a MOOC[J]. The international review of research in open and distributed learning， 2015， 16（2）：46-68.
[16] ALRAIMI K M， ZO H， CIGANEK A P. Understanding the MOOCs continuance： the role of openness and reputation[J]. Computers & education， 2015（80）：28-38.
[17] XING W， CHEN X， STEIN J， et al. Temporal predication of dropouts in MOOCs： reaching the low hanging fruit through stacking generalization[J]. Computers in human behavior， 2016（58）：119-129.
[18] SUNAR A， WHITE S， ABDULLAH N，et al. How learners' interactions sustain engagement： a mooc case study[J].IEEE transactions on learning technologies， 2016，10（1）：475-487.
[19] PURSEL B K， ZHANG L， JABLOKOW K W， et al. Understanding MOOC students： motivations and behaviours indicative of MOOC completion[J]. Journal of computer assisted learning， 2016， 32（3）： 202-217.
[20] OAKLEY B， POOLE D， NESTOR M. Creating a sticky MOOC[J]. Online learning， 2016， 20（1）：13-24.
[21] HONE K S， EL SAID G R. Exploring the factors affecting MOOC retention： a survey study[J]. Computers & education， 2016，98（c）：157-168.
[22] FIDALGO-BLANCO ？譧， SEIN-ECHALUCE M L， GARC？魱A-PE？譙ALVO F J. From massive access to cooperation： lessons learned and proven results of a hybrid xmooc/cmooc pedagogical approach to moocs[J]. International journal of educational technology in higher education， 2016， 13：24. https：//doi.org/10.1186/s41239-016-0024-z.
[23] EVANS B J， BAKER R B， DEE T S. Persistence patterns in massive open online courses（MOOCs）[J]. The journal of higher education，2016， 87（2）：206-242.
[24] CROSSLEY S， PAQUETTE L， DASCALU M， et al. Combining click-stream data with NLP tools to better understand MOOC completion[C]// Proceedings of the Sixth International Conference on Learning Analytics & Knowledge， New York： ACM， 2016：6-14. [25] BORRAS-GENE O， MARTINEZ-NUNEZ M， FIDALGO-BLANCO ？譧. New challenges for the motivation and learning in engineering education using gamification in MOOC[J]. International journal of engineering education， 2016， 32（1）：501-512.
[26] BARBA P D， KENNEDY G E， AINLEY M. The role of students' motivation and participation in predicting performance in a MOOC[J]. Journal of computer assisted learning， 2016， 32（3）： 218-231.
[27] 牟智佳，武法提.MOOCs学习结果预测指标探索与学习群体特征分析[J].现代远程教育研究，2017（3）：58-66.
[28] 王雪宇，邹刚，李骁.基于MOOC数据的学习者辍课预测研究[J].现代教育技术，2017，27（6）：94-100.
[29] CHEN Y，ZHANG M. MOOC student dropout： pattern and prevention[C]// Proceedings of the ACM Turing 50th Celebration Conference.Shanghai：ACM，2017.
[30] SHAPIRO H B， LEE C H， ROTH N E W， et al. Understanding the massive open online course （MOOCs） student experience： An examination of attitudes， motivations， and barriers[J]. Computers & education，2017（110）：35-50.
[31] 張刚要，李紫衣.基于质性分析的MOOCs高退学率归因研究[J].电化教育研究，2018，39（1）：29-35.
[32] GREGORI E B， ZHANG J， GALV？譧N-FERN？譧NDEZ C， et al. Learner support in MOOCs： identifying variables linked to completion[J]. Computers & education， 2018，122（7）：153-168.
[33] JOKSIMOVIC S， POQUET O， KOVANOVIC V， et al. How do we model learning at scale？ a systematic review of research on MOOCs[J]. Review of educational research， 2018， 88（1）：43-86.
[34] GONZ？譧LEZ G， SKULTETY L. Teacher learning in a combined professional development intervention[J].Teaching and teacher education， 2018（71）：341-354.
[35] CSIKSZENTMIHALYI M. Finding flow： the psychology of engagement with everyday life[M]. New York：Basic Books，1997.
[36] DEBOER J， HO A D， STUMP G S， et al. Changing “course”： reconceptualizing educational variables for massive open online courses[J]. Educatioanl researchera， 2014， 43（2）：74-84.
[37] 李曼丽，黄振中.MOOCs平台大数据的教育实证[J].科学通报，2015（1）：570-580.
[38] 陈伯栋，黄天慧.解析学习分析学：一次撬动冰山的尝试[J].开放教育研究，2017，22（4）：1-9.
[39] 万海鹏，余胜泉.基于学习元平台的学习认知地图构建[J].电化教育研究，2017（9）：83-88.
[关键词] MOOCs; MOOCs完成率; 学习过程及效果; 学习留存问题
[中图分类号] G434 [文献标志码] A
一、问题引入
MOOCs从2012年在全球范围内兴起至今，一度引领教育变革之风潮[1]。短短几年，包括美国“Coursera”“Edx”“Udacity”、英国“FutureLearn”、澳大利亚“Open2Study”、中国“学堂在线”与“中国大学MOOC”等MOOCs课程平台已成规模。然而，大量研究显示，MOOCs的完成率①约在5%～10%之间[2]。较低的完成率使MOOCs持续推进和发展面临挑战，受到课程开发者、管理者和教育研究者的关注。围绕MOOCs学习完成率，当前研究着力探讨学习者特征、学习动机、学习参与状况等与完成率之间的关系，研究关注点从探寻“MOOCs完成率是多少”，逐渐转向对“如何理解MOOCs完成率”，以及“较低的完成率受什么影响”等议题的追问[3]，试图在教育大数据视域下进一步揭示在线学习过程及效果的规律与实质。
聚焦“如何界定MOOCs学习完成率，哪些学习过程变量（指标）有效影响/预测学习者学完MOOCs”两个问题，本文尝试对近五年发表的相关实证研究展开分析，旨在全面刻画既有研究中关于MOOCs学习者学习留存问题的分歧与共识。为更好地展现MOOCs学习过程及结果的复杂性，我们借助伊列雷斯（Illeris）[4]的学习分析框架呈现有效影响/预测MOOCs学习完成率的学习过程变量或指标。在此基礎上，本文继续探讨MOOCs学习及其学习者留存问题的特性和目前研究的局限，为深入理解MOOCs学习完成率，进一步探索以MOOCs为代表的大数据教育实证研究的延展路径与边界等问题提供启示。
二、文献来源
本研究以Web of Science数据库和中国知网数据库为基础，采用“MOOCs”“Dropout”“Completion”“慕课”“学业完成”“学业流失”等关键词系统地进行文献检索。被检索文献为2014年至2018年间发表于主流国际期刊（含SSCI期刊）、国内CSSCI刊、国际会议及论文集中的52份研究①。这些研究的数据来源于Coursera、FutureLearn、edx、Harvardx、Open2Study、Miríadax（西班牙文）、学堂在线（中文）和中国大学MOOC（中文）等MOOCs平台学习者的在线行为数据与自陈报告数据。
为保证文献研究的有效性，我们进一步对检索文献进行筛选。筛选标准包括：（1）文献为实证研究（剔除非实证研究类文章，如研究综述、观点探讨等）;（2）研究问题聚焦课程完成率或流失率（剔除如研究目标是改进某一种算法，或比较两种算法效率的文章）;（3）明确说明了数据来源或分析的课程对象;（4）明确界定MOOCs完成率，且研究结论回应MOOCs完成率等相关议题。基于以上标准，本文从搜集到的52份实证研究中选出了29份符合要求的文献展开分析。这些文献基本信息见表1，在本文所分析的问题上具有代表性。
三、研究发现
（一）MOOCs学习完成率如何界定
本文分析的29篇相关文献对MOOCs学习完成率的界定呈现出四种类型。
首先，超过一半的研究将课程成绩或取得证书作为界定MOOCs学习者完成学业的主要依据。这些研究多将学习者参与课程过程中所有考试及成绩作为学习者的最终成绩[11，14，19，24，28]。也有研究将缺席最后考试的学习者视为弃课学习者[31]。
其次，部分研究者依据学习行为数据，根据MOOCs学习者的学习行为持续时间或活跃度判断其是否弃课。例如，陈云帆等将“最近一周内或三周内没有学习活动”视为弃课的标志[5];在申纳（Sunar）等人的研究中，学习记录超过六周的学习者被定义为完成课程，否则即为弃课[18];辛哈（Sinha）等人将最后一周没有学习行为数据记录的学习者视为弃课[6]。此外，还有研究从学习者群体的角度进行定义，将看过一门MOOC最后一个模块的学习者数量与看过第一个模块的学习者数量之比界定为完成率。
再次，约有超过10%的研究结合“课程成绩或证书”和“学习活跃度”等指标对MOOCs学习者进行分类，并对不同类型学习者的学习完成情况加以界定。例如，霍恩（Hone）等用三方面指标来综合界定学习者完成情况[21]：（1）是否获得证书;（2）作业完成情况（全部完成、大部分完成、完成一半、完成一部分以及未完成）;（3）视频观看情况（完全看过、看过大部分、看过一半、看过一部分以及未看过）。伊文斯（Evans）等通过四个指标界定了四类MOOCs学习者及其留存情况[23]，即视频观看超过20%、视频观看超过80%、获得证书、获得证书且视频观看超过20%等。恩格尔（Engle）等人依据学业完成或考试参与情况对课程注册学习者进行分类[15]，包括未完成任何考试、完成部分考试、完成全部考试但未通过、通过但未获得好成绩、通过且获得好成绩等五个类型。 学习投入时间变量。当前还有研究发现，MOOCs学习者学习的持续投入时间对其留存有显著的预测性[23，34]。例如：冈萨雷斯（González）等人发现[34]，那些留到MOOCs课程进程的第二个四分位数（Second Quantile）的学习者（MOOCs课程的第二或者第三个星期，或第二、第三个模块），其学习行为对于其完成率的预测有较高的解释力。换句话说，在MOOCs课程进程中“第二个四分位数”留下的学习者，完成课程的可能性大。这部分学习者也是MOOCs教师和课程设计者须重点关注的群体。
3. MOOCs学习环境维度
伊列雷斯认为，学习环境分为“系统化环境”和“社会化环境”两个层面[4]。前者是结构化的学习环境，后者关注学习过程中营造的人际互动、社会联结、文化氛围等“软”环境。对于MOOCs学习环境来说，结构化的课程学习硬件环境包含课程设计、课程内容、内容长度、测验系统、考试评分系统、反馈系统甚至学习干预系统等。而教师（或助教）的支持即为MOOCs社会化学习环境的重要元素。
MOOCs结构化学习环境变量。已有研究中，MOOCs课程的公众口碑（该门课是否出自名校）和课程的开放性（该门课的课程资源是否可以随时获取）均对学习者持续学习亦或弃课有较高的预测价值[16，23，30]。对于那些来自欠发达地区（例如非洲）的学习者来说，资源的缺乏（包括资金、基础建设、网络等）对其参与和完成MOOCs學习的阻碍较大[23]。
值得注意的是，MOOCs学习环境设计形式很大程度上影响学习者的去留[12，20，23]。伊文斯等人发现，课程内容按先后逻辑顺序排列，并在每个讲座视频中增加标题或相应的提示性文字，对留住学习者有一定的帮助[23]。如果MOOCs课程讲座视频能够包含生动的动画设计、主题富于故事性、贴近生活、短小简洁、音效好、插入简短介绍或能体现一定的实用性等，本身就是留住学习者的有效策略[23]。乔丹发现，课程长度、发布时间及评分方式对MOOCs完成率有重要影响;其中，课程越短完成率越高，课程发布时间越近完成率越高[12]。
课程内容、授课质量、测验难度等也在很大程度上影响着MOOCs完成率[2，20-21，30]。如弗雷塔斯指出，测验难度对构建和维系学习者心流（Flow）经验具有重要作用[2]。这在很大程度上体现了学习者心流经验对驱动其持续学习的重要性[35]。此外，MOOCs学习情境中自动化学习行为（或作业）反馈，如学生测验的自动批改、成绩反馈、学习诊断报告等，给予学习者及时反馈和学习干预，对提升其完成率有较大影响[12，17，32]。
MOOCs社会化学习环境变量。在MOOCs学习环境中，教师支持是营造社会化学习环境的重要变量[8，28，32]。格雷戈里（Gregori）研究发现，“教师在场性（Teacher Presence）”即MOOCs教师（助教）与学生的互动，包括每个模块开始之前进行点评、持续提供必要的学习资源、鼓励论坛中的社会性参与等，对学习者能否成功学完MOOCs具有重要的预测作用[32]。
另外，同伴支持的在线学习共同体环境创设也有助于提升课程完成率。当前有不少研究者开展以“改良”MOOCs社会化学习环境的准实验研究或设计研究，有意识将富媒体资源开发、移动界面应用、游戏化等整合到MOOCs教学设计中，增强MOOCs学习的社会交互性，进而提升课程完成率[2，22]。
综上，本文分析的29篇相关文献中呈现了各类影响/预测MOOCs完成率的变量，展现出MOOCs学习过程及学习者留存问题的复杂性（如图1所示）。同时，从图1可以看出，研究者识别和提取的MOOCs学习过程变量集中于外显化的表层学习行为类数据。在学习者与MOOCs学习环境的交互维度，研究者普遍识别的交互学习变量集中于“视频点击、观看、复看的数量”和“论坛发帖数”等学习行为。在学习者的个体学习维度，与学习者个人相关的背景信息和能力准备等指标，如学历（或教育背景、先前知识）、课前自主学习能力等，备受关注。在MOOCs学习环境维度中，当前绝大多数研究者将关注点集中于结构化的MOOCs学习环境变量，考虑如视频剪辑制作、课程测验难度、自动化评分反馈等课程和学习环境设计的微观变量对学习者留存的影响。这种趋势与MOOCs学习平台大规模在线行为数据特点或数据采集存储技术有关，也反映出MOOCs学习情境区别于传统高等教育及远程教育的特别之处。
四、讨论：如何理解MOOCs学习完成率
（一）对MOOCs学习完成率的界定：从关注“完成的结果”到重视“学习的实质”
通过分析已有研究发现，尽管“课程成绩及证书”依旧是衡量MOOCs学习完成与否的主要指标，但当前学者纷纷从MOOCs学习的特殊性出发，对学习完成率进行多元界定，如基于学习者学习活跃情况预测其是否弃课;分不同类型MOOCs学习者界定其学习完成状况;或基于个体学习需求检视其MOOCs学习完成情况，甚至让学习者来制定评估标准，评估自己的学习效果等。简言之，当前学界对于MOOCs完成率的界定尚未达成普遍共识。
深入分析，无论基于学习行为活跃度，还是分类界定MOOCs学习者群体的学习完成情况，或从个体学习需求出发检视MOOCs学习的结果，不同学者提出的对于MOOCs完成率理解的多种“版本”，反映出当前诸多研究者都意识到，有必要超越以“课程成绩及证书”等单维指标界定MOOCs完成率，转为从学习者“实质参与（Engagement）”MOOCs学习的角度，构建我们对多样化MOOCs学习者的学习过程及结果的理解。
事实上，MOOCs作为一种区别于正式学习场域、以大数据作为支撑系统的、独特的教育和学习环境，充满了过往正式教育中难以想象的多样化学习者及其多元的学习需求、意图和动机[33]。正如德波尔（Deboer）等人研究所展现的（如图2所示），由于大量学习者可在学习进程中的任何时候进入或退出课程，MOOCs学习者事实上创生了数量巨大的非线性、非程序化的学习过程路径。而正视MOOCs学习过程的复杂性，意味着审慎合理地认识MOOCs学习结果（完成情况）须突破单维度分析的视角。具体来讲，构建包含多种过程性指标为依据的MOOCs学习者个人学习档案、学习问题诊断报告及学习建议，综合宏观和微观等多类指标对其加以展现，是对MOOCs学习者留存问题探究的基点。 （二）影响/预测MOOCs学习结果的因素：以外显学习行为变量为主导及其利弊
进一步分析发现，已有研究识别和提取的有效影响/预测学习者完成MOOCs的学习过程变量显现出一定的偏好和集中趋势。诸多研究关注并验证了学习者个体维度、学习者与学习环境交互以及学习环境等维度中外显的行为类变量对MOOCs学习完成有预测作用。如在学习者的个体学习维度，诸多研究者关注与学习者个人相关的背景信息和能力准备等指标，如学历（或教育背景与先前知识）、课前自主学习能力等。相比之下，与学习者学习过程中知识能力、思维品质、情绪体验（如积极、或厌倦情绪等）的动态变化及其与MOOCs学习留存的关系，研究探讨则较少。在学习者与MOOCs学习环境的交互维度，研究者普遍识别出大量交互学习变量，如“视频点击、观看、复看数量”和“论坛发帖数”等学习行为对MOOCs学习结果的预测性。而对于交互学习过程中学习者如何感知、参与和投入多样化的学习活动，通过参与这些学习活动，学习者在交互学习过程中知识构建的质量、深度理解水平及身份意识建构等对于其学习结果的影响，都缺乏深入探讨。在MOOCs学习环境维度，当前绝大多数研究者将关注点集中于结构化的MOOCs学习环境变量，考虑如视频剪辑制作、课程测验难度、自动化评分反馈等课程和学习环境设计等客观变量对学习者留存的影响。相比之下，MOOCs社会化学习环境中教师支持、同伴合作以及学习共同体培育等变量对学习者持续学习的影响，相关研究较少。
概括来说，已有研究展现的图景喜忧参半。“喜”在于，这些研究基于大规模学习平台数据，或结合部分学习者调查数据，运用学习分析工具或教育数据挖掘（Educational Data Mining）技术，通过爬取、识别和分析显性学习行为变量（如视频点击、讨论区跟发帖、作业提交、平台自动化测评反馈等）有效预测了MOOCs学习完成率。进一步离析学习者学习过程中外显性学习行为大数据，也让我们清晰地认识到MOOCs学习者学习过程的空前多样性和复杂性。“忧”在于，当前MOOCs学习及其学习者留存问题研究大都依赖“数据驱动”的思路，研究发现多停留于对“行为数据”的描述、观察和归纳。但事实上，无论数据描述和归纳，还是数据挖掘或机器学习算法，由于缺乏对MOOCs教学情境的认识，部分数据分析结果并无教育学意义或价值[37]。不乏存在研究设计及研究发现趋同的问题。不仅如此，所谓“用数据说话”的思路，基于平台“点击类”学习行为数据的分析或计算，很难推及对MOOCs学习者高水平（高阶）的学习效果及学习品质的深入认识[38]。换句话说，这些研究的设计并未较好地与已有学习理论建立联系（无论验证理论、拓展理论或构建理论）。这些研究发现与结论也很难层层深入、持续增进我们对MOOCs学习环境中“学习如何发生”这一问题的理解。
那么，如何认识MOOCs研究中“点击类”学习行为变量的利与弊？事实上，就目前可获取的学习者外显学习行为数据，结合学习理论拓展数据挖掘或数据建模，皆是未来探究MOOCs学习过程及留存问题的可能路径[33]。具体来说，研究者或者研究团队在正视MOOCs教学过程复杂性基础上，可通过设计或调整教学技术系统，提取教学不同环节的学习数据，让数据的收集、分析和解读扎根到已有对人的学习的研讨中，或许更具启示[38]。但这也意味着，基于大数据的MOOCs学习留存问题研究须集合交叉学科学者开展较为深入的合作探索。学科背景单一、合作程度表浅的研究团队或很难获得突破性的研究成果。此外，反思目前基于大数据的在线学习研究存在的局限，某种程度上，当前以MOOCs为代表的教育大数据，其数据库构建、管理、运用和监督，尚有完善的空间。如何处理MOOCs学习者个人学习历程档案数据库建立，如何规范化MOOCs平台管理和运营，如何对MOOCs学习者个人隐私数据进行监管，以及研究伦理问题等，皆是未来的政策制定者、实践者和研究者需要审慎处理的议题。
（三）增进MOOCs学习留存问题的研究：向基于设计的学习研究拓展
在前述研究中，大多数研究者将关注点集中在MOOCs学习者参与课程学习的外显自然行为数据，或关注结构化的MOOCs学习环境变量（如视频剪辑制作、课程测验难度等），以及学习者与课程内容的交互情况。对于MOOCs社会化学习环境中的教师支持、同伴合作及学习共同体培育等变量对学习者持续学习的影响等问题关注相对较少。甚至有研究者认为，当前的MOOCs在某种程度上更接近一种“去教学化”的学习环境，课程设计者与教师等都不够重视社会化学习情境及教师干预在MOOCs课程与教学设计中的作用[17]。这一研究现状也提醒研究者和在线课程实践者，有必要开展一系列基于学习设计的研究，通过设计和反复迭代，推进我们对于MOOCs学习留存问题的认识。
已有部分研究从持续增进MOOCs学习留存的角度展开，提出了不同的干预方案。例如，为调动在线学习过程中学习者的积极性，博拉斯-基茵（Borras-Gene）等人将游戏元素植入课程设计中，形成游戏化合作型慕课（gcMOOCs）的模式，有39.9%学生完成了课程，这一数字远高于同类MOOCs大约7%的平均完成率[25]。万海鹏等提出构建用于表征学习过程中学习者认知状态变化的学习认知地图（Cognitive Map），即通过表征学习者学习过程数据，对过程中知识学习状态进行可视化处理，预测学习状态，并据此形成符合认知特征的学习资源和人际网络推荐，构建出个性化的自适应学习系统，有效提升在线学习者的学习动机和成效[39]。有研究者运用指导性机器学习算法（Supervised Machine Learning Algorithms）建構时间性的预测模型，在课程不同阶段识别出“可能退课”的学生，以便教师能够适时对他们进行教学干预，提升MOOCs学习留存率[17]。此外，还有研究者试图设计更多结合MOOCs在线学习外的混合式教学活动，试图通过拓展学习者学习空间（如移动界面运用、学习干预、线下学习等），建构多样化的人际交互网络和学习共同体，增进其学习参与性和投入度。以上这些研究，一方面通过对MOOCs学习过程进行不同方式和不同程度的学习设计，揭示学习者MOOCs学习过程中学习动力、知识能力、思维品质等的动态变化;另一方面也从教与学的角度，探索有效增进学习者在线学习过程中学习积极性、知识构建品质和深度理解水平的学习设计方案。上述思路都不失为有益的尝试，为今后拓展大数据背景下以MOOCs为代表的在线学习留存问题研究提供了不同的可能方向。 五、结论与展望
本文对近五年聚焦MOOCs学习者留存问题的文献展开分析发现，关于这一问题的研究在较短时间内取得了丰富成果。作为一种非正式教育和数字化学习环境，MOOCs承载了多元化的学习者和他们多样的学习需求、意图与动机。对MOOCs学习者学习结果单维度的界定，容易以偏概全，无助于我们从学习者多样化的学习参与过程来揭示MOOCs学习的复杂性。当前基于MOOCs学习行为大数据，研究者们通过爬取、识别和分析显性学习行为变量较好地预测了学习完成率，但是，由于缺乏对MOOCs教学情境的认识，这些研究的设计并未与已有学习理论建立很好的联系，难以持续推进我们对MOOCs学习环境及学习者留存问题的深入认识。为增进对MOOCs学习留存问题的理解，从教与学的角度开展学习设计，进而探索有效增进在线学习过程中学习者的积极性、知识构建品质和深度理解水平的学习设计方案，或许是今后研究的方向。
值得注意的是，已有学习理论和学习分析领域关于学习者认知、元认知、情感和动机等的相关理论及数据获取方式，帮助我们从多个方向了解学习者及学习的发生，或许能够对多维度理解MOOCs学习及留存问题提供重要启示[33]。在此意义上，本文结合伊列雷斯的学习分析框架对影响MOOCs学习完成率的过程变量进行概念化分析亦是一次有益尝试。此外，开展以MOOCs为代表的教育大数据实证研究的基础是数据库建设。如何更好地构建数据库，完善数据的管理、运用和监督机制，皆是未来该领域研究展开的前提条件，尚有待教育学、心理学、法学、计算机科学等多学科领域研究者及政策制定者和MOOCs平台实践者之间深入合作，共谋解决方案。
（致谢：本研究得到清华大学（THU）李曼丽教授、美国威斯康星大学麦迪逊分校（UW-Madison）张正军教授、美国佛罗里达湾岸大学（FGCU）张京顺教授的悉心指导和大力支持，特此致谢！）
[参考文献]
[1] PAPPANO L. The year of the MOOC[J]. The New York times， 2012-11-04（26）.
[2] FREITAS S I， MORGAN J， GIBSON D. Will MOOCs transform learning and teaching in higher education？ Engagement and course retention in online learning provision [J]. British journal of educational technology， 2015， 46（3）： 455-471.
[3] 范逸洲，刘敏，欧阳嘉煜，汪琼.MOOCs中学习者流失问题的预测分析——基于24篇中英文文献的综述[J].中国远程教育，2018（4）：5-14.
[4] ILLERIS K. How we learn： learning and non-learning in school and beyond[M]. London & New York： Routledge，2007.
[5] 陈云帆，张铭.MOOCs课程学生流失现象分析与预警[J].工业和信息化教育，2014（9）：30-36.
[6] SINHA T， JERMANN P， LI N， et al. Your click decides your fate： inferring information processing and attrition behavior from MOOC video clickstream interactions[DB/OL].（2014-09-16）[2018-11-20]. http：//arxiv.org/abs/1407.7131.
[7] LIYANAGUNAWARDENA T R， PARSLOW P， WILLIAMS S. Dropout： Mooc participants' perspective[C]// Proceedings of the Second MOOC European Stakeholders Summit. Lausanne： EMOOCs， 2014.
[8] KIM J， GUO P J， SEATON D T， et al. Understanding in-video dropouts and interaction peaks in online lecture videos[C]// Proceedings of the First ACM Conference on Learning@ Scale Conference. New York： ACM，2014.
[9] JIANG S， WILLIAMS A， SCHENKE K， et al. Predicting mooc performance with week 1 behavior[C]// Proceedings of the 7th International Conference on Educational Data Mining. London：EDM， 2014.
[10] 蔣卓轩，张岩，李晓明.基于MOOC数据的学习行为分析与预测[J].计算机研究与发展，2015（3）：614-628.
[11] KOEDINGER K R， KIM J， JIA J Z， et al. Learning is not a spectator sport： doing is better than watching for learning from a MOOC[C]// Proceedings of the second ACM conference on learning@ scale. New York：ACM，2015. [12] JORDAN K. Massive open online course completion rates revisited： assessment， length and attrition[J]. The international review of research in open and distributed learning， 2015， 16（3）：341-358.
[13] HANSEN J D， REICH J. Democratizing education？ Examining access and usage patterns in massive open online courses[J]. Science， 2015， 350（6265）：1245-1248.
[14] GREENE J A， OSWALD C A， POMERANTZ J. Predictors of retention and achievement in a massive open online course[J]. American educational research journal，2015，52（5）：925-955.
[15] ENGLE D， MANKOFF C， CARBREY J. Coursera’s introductory human physiology course： factors that characterize successful completion of a MOOC[J]. The international review of research in open and distributed learning， 2015， 16（2）：46-68.
[16] ALRAIMI K M， ZO H， CIGANEK A P. Understanding the MOOCs continuance： the role of openness and reputation[J]. Computers & education， 2015（80）：28-38.
[17] XING W， CHEN X， STEIN J， et al. Temporal predication of dropouts in MOOCs： reaching the low hanging fruit through stacking generalization[J]. Computers in human behavior， 2016（58）：119-129.
[18] SUNAR A， WHITE S， ABDULLAH N，et al. How learners' interactions sustain engagement： a mooc case study[J].IEEE transactions on learning technologies， 2016，10（1）：475-487.
[19] PURSEL B K， ZHANG L， JABLOKOW K W， et al. Understanding MOOC students： motivations and behaviours indicative of MOOC completion[J]. Journal of computer assisted learning， 2016， 32（3）： 202-217.
[20] OAKLEY B， POOLE D， NESTOR M. Creating a sticky MOOC[J]. Online learning， 2016， 20（1）：13-24.
[21] HONE K S， EL SAID G R. Exploring the factors affecting MOOC retention： a survey study[J]. Computers & education， 2016，98（c）：157-168.
[22] FIDALGO-BLANCO ？譧， SEIN-ECHALUCE M L， GARC？魱A-PE？譙ALVO F J. From massive access to cooperation： lessons learned and proven results of a hybrid xmooc/cmooc pedagogical approach to moocs[J]. International journal of educational technology in higher education， 2016， 13：24. https：//doi.org/10.1186/s41239-016-0024-z.
[23] EVANS B J， BAKER R B， DEE T S. Persistence patterns in massive open online courses（MOOCs）[J]. The journal of higher education，2016， 87（2）：206-242.
[24] CROSSLEY S， PAQUETTE L， DASCALU M， et al. Combining click-stream data with NLP tools to better understand MOOC completion[C]// Proceedings of the Sixth International Conference on Learning Analytics & Knowledge， New York： ACM， 2016：6-14. [25] BORRAS-GENE O， MARTINEZ-NUNEZ M， FIDALGO-BLANCO ？譧. New challenges for the motivation and learning in engineering education using gamification in MOOC[J]. International journal of engineering education， 2016， 32（1）：501-512.
[26] BARBA P D， KENNEDY G E， AINLEY M. The role of students' motivation and participation in predicting performance in a MOOC[J]. Journal of computer assisted learning， 2016， 32（3）： 218-231.
[27] 牟智佳，武法提.MOOCs学习结果预测指标探索与学习群体特征分析[J].现代远程教育研究，2017（3）：58-66.
[28] 王雪宇，邹刚，李骁.基于MOOC数据的学习者辍课预测研究[J].现代教育技术，2017，27（6）：94-100.
[29] CHEN Y，ZHANG M. MOOC student dropout： pattern and prevention[C]// Proceedings of the ACM Turing 50th Celebration Conference.Shanghai：ACM，2017.
[30] SHAPIRO H B， LEE C H， ROTH N E W， et al. Understanding the massive open online course （MOOCs） student experience： An examination of attitudes， motivations， and barriers[J]. Computers & education，2017（110）：35-50.
[31] 張刚要，李紫衣.基于质性分析的MOOCs高退学率归因研究[J].电化教育研究，2018，39（1）：29-35.
[32] GREGORI E B， ZHANG J， GALV？譧N-FERN？譧NDEZ C， et al. Learner support in MOOCs： identifying variables linked to completion[J]. Computers & education， 2018，122（7）：153-168.
[33] JOKSIMOVIC S， POQUET O， KOVANOVIC V， et al. How do we model learning at scale？ a systematic review of research on MOOCs[J]. Review of educational research， 2018， 88（1）：43-86.
[34] GONZ？譧LEZ G， SKULTETY L. Teacher learning in a combined professional development intervention[J].Teaching and teacher education， 2018（71）：341-354.
[35] CSIKSZENTMIHALYI M. Finding flow： the psychology of engagement with everyday life[M]. New York：Basic Books，1997.
[36] DEBOER J， HO A D， STUMP G S， et al. Changing “course”： reconceptualizing educational variables for massive open online courses[J]. Educatioanl researchera， 2014， 43（2）：74-84.
[37] 李曼丽，黄振中.MOOCs平台大数据的教育实证[J].科学通报，2015（1）：570-580.
[38] 陈伯栋，黄天慧.解析学习分析学：一次撬动冰山的尝试[J].开放教育研究，2017，22（4）：1-9.
[39] 万海鹏，余胜泉.基于学习元平台的学习认知地图构建[J].电化教育研究，2017（9）：83-88.