随着在线教育的普及,慕课以其丰富的资源和优质的课程服务等优势,吸引了全球众多的学习者。但是,由于慕课的学习环境自由且压力较小,导致辍学现象愈发突出,严重阻碍了慕课的发展。近年来,利用慕课平台学习者的行为信息对其进行辍学预测,成为了教育数据挖掘的研究热点。本文以慕课学习者行为数据为基础,从行为数据处理和提高预测精度展开研究,本文的主要工作如下:（1）针对慕课学习行为特征和时序特征提取的问题,提出一种新的基于混合神经网络和注意力机制的辍学预测算法CAE-ELSAM。首先,提出了一种新的学习行为特征提取策略,该策略引入自编码器思想,将卷积神经网络融入自编码器结构中,更好的提取有效的学习行为细粒度特征;然后,设计了一种新的基于复合非对称激活函数的长短时记忆网络构建策略,利用其左侧软饱和性和右侧无饱和的特点,更好地学习到学生行为特征的长期依赖信息;接着,引入注意力机制,设计了一种新的学习行为时间注意力网络构建策略,根据不同时刻的学习行为信息对未来状态的影响差异,赋予不同关注度;最后,基于改进的长短时记忆网络和时间注意力网络构建时间序列处理层,以增强算法处理学习行为数据中的时序特征,从而提高辍学预测效果。（2）使用学堂在线真实数据集,以精度、召回率、F1值和AUC作为辍学预测的评价指标。首先,对本文提出的三种改进策略进行有效性验证,分析其对辍学预测算法的改进效果。然后,与当前主流辍学预测算法进行多组对比实验,以评估本文算法的性能。实验结果表明,本文算法与现有辍学预测算法相比在四种评价指标上有明显提升,具有更好的辍学预测表现,能更准确识别存在辍学风险的学生。