随着信息技术的高速发展,网络教学模式不断迭代升级,网络教学平台也不断涌现并逐具规模。与面对面的传统教学模式相比,网络教学具有随时可学、随地可学和资源丰富的特点,但缺乏对学生的有效监管、技术成本高,且人性化和灵活性不足,因此网络教学目前仅仅只是对传统课堂的一个补充,网络教育和传统教育不相融的缺点已引起一些教育专家的关注。为此本课题组尝试通过集成化和智能化手段,将网络教学和传统面对面教学相融合,让它们充分发挥各自优势,取长补短,并打造了一套智能辅助教学系统。该系统由运行于服务器的教学网站和运行于老师学生个人终端的APP构成,可以低成本地记录日常上课过程、监管学生学习状态,还可以促进师生互动、借助智能推荐实现个性化学习等等。本论文承担了其中大量研究和开发工作,主要工作和成果总结如下。论文开发了一款基于Nginx的流媒体直播服务器、采用RTMP实时消息传送协议和FFMPEG多媒体框架的辅助教学APP,可运行于老师学生的Windows系统的笔记本电脑、安卓系统的平板电脑和智能手机。老师通过该APP可将每节课以后台录屏录音的方式记录下来,并通过直播技术,实时分享到学生终端,并最终存储保存到云服务器。在课堂上,采用弹幕技术实现学生在不打扰老师上课的情况下向老师提问,加强老师与学生在课堂上的实时互动。在课下,采用聊天室技术加强老师和学生之间的交流,还实现了作业打分、出勤统计等特殊群组功能,有助于减轻老师负担,提升教学效率。为了检测学生的学习状态,论文提出了一种采用单摄像头的便捷人脸朝向检测算法,该算法在基准照片和转动后的照片中找出人脸的5对匹配特征点,然后根据光学成像原理,通过粒子群算法找出这些匹配特征点所对应的旋转矩阵,从而求出旋转角度。实验表明,对刚性物体该算法的测量精度可以达到2度左右,不仅可以用于人脸朝向检测,也可广泛用于其他物体的姿态检测。论文同时还采用深度学习原理,实现了视频中学生行为动作分析。为此论文在MATLAB2020a下,搭建组装了大型深度神经网络,该网络将短视频分解为一帧帧图像,并借用预训练好的GoogLeNet卷积层分析每帧图像的特征,再将这些特征组装成特征矢量序列,输入具有2000个隐藏层的LSTM网络,进行动作分类。论文采集了学生上课时的几种典型行为视频数据,如喝水,吃东西,举手发言,左顾右盼等,再结合HMDB51视频数据库对上述大型深度神经网络进行训练测试。实验表明,动作识别可信度达到约89%。论文在局域网环境下,对所开发的辅助教学APP进行测试,测试结果表明APP运行流畅,各项功能指标都达到预设要求。论文所开发的教学APP不仅可以作为一种高效的辅助教学手段,而且通过对日常教学过程的记录保存,有利于积累形成大数据,提炼优质教学资源,促进行业发展。