教室场景下课堂行为识别算法的研究与应用

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:jiguso198735
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在全面推进信息化教育的背景下,利用课堂录播技术实现优质教学资源快速分享的需求逐年增加。传统的课堂视频录播系统采用手工录制的方式,过程中不仅需要专业人员全程操纵,而且存在影响课堂教学秩序和拍摄品质不稳定的问题。尽管一些自动录像设备已经引入到课堂视频录制过程中,但其对复杂多变的教室环境适应能力不足,实际效果并不理想,所以仍然需要视频制作人员对课堂视频进行从头到尾的剪辑再制作,导致了制作周期变长,也造成了人力资源的浪费。为了解决以上问题,本文提出一种识别课堂视频中师生目标关键行为的方法,并应用到一个课堂关键行为识别与分析系统中,来帮助视频制作人员快速定位到课堂视频中需要进行剪辑的关键帧。本文的主要研究路线如下:(1)本文对课堂视频中作为视频切换信号源的关键行为进行分析,构建了用于课堂行为识别模型训练和测试的课堂行为数据集TSCB,并通过三种数据后处理方案对数据集数据进行了优化。(2)本文构建了基于骨骼关键点的教师行为识别模型和基于数据融合的学生行为识别模型,其中学生行为识别模型的构建为本文的研究重难点,其具体的构建过程如下:借鉴双流法的思想,首先通过Alpha Pose人体姿态检测模型获取学生目标的骨骼关键点特征数据。其次,通过调整非极大值抑制算法的YOLOv3模型获取学生目标的RGB图像裁切图,利用添加了注意力机制的Res Net18网络提取裁切图中的特征数据,最后将两种特征数据进行数据融合后输入到全连接层上进行分类,以此构建了基于数据融合的学生行为识别模型。最终教师行为识别模型的平均F1值达到0.920,学生行为识别模型的平均F1值达到0.912,处理各种情况时仍然能保持良好的健壮性,符合实际应用的标准。(3)根据本文所构建的课堂行为识别模型,设计并实现了课堂关键行为识别与分析系统,该系统能对课堂视频中切换信号源的时序信息和抓拍图像进行输出,使视频制作者能快速准确的定位到关键行为发生的时间节点,为课堂视频的后期制作提供了极大便利,具有良好的实用性。
其他文献
内波是海洋中普遍存在的一种运动,在全球各地的沿海区域经常发生。其中孤立子内波是一种具有较大的振幅,携带巨大能量的内波,对海工设施以及潜艇航行等都有严重的威胁。因此,对于内波的预报工作就尤为重要。对于内波参数预报的研究主要分为内波的生成、传播和演化规律相关的流场方面研究以及内波参数预报方面的研究两方面。声学方法是一种重要的预报方法,内波对声传播影响的研究是声学方法预报内波的基础和重点。因此本文主要对
学位
随着人类文明科技的不断发展,我们对自然的探索不断深入,发展新的海洋战略布局是由内在向外驱动的需求,而水下声源识别技术毫无疑问正是实现这一需求的关键技术之一;而一个具有良好表征能力的提取特征和准确高效的分类器设计是水下声源识别系统的重中之重。借鉴深度学习在语音识别领域的成功应用,由机器从数据中自主学习提取的特征,改变了长期以来依靠理论分析和经验总结再进行人工提取的思路。避免信号在进行变换处理时的信息
学位
海洋浮式平台的系泊系统长期处于作业状态,在海洋环境载荷和平台运动的不断作用下,以腐蚀和磨损为主的损伤会导致系缆极限破断强度不断降低。此外,腐蚀因素会使得系缆直径减小,进一步影响系缆张力值。在全生命期内,腐蚀和磨损等损伤因素会导致系缆在遭受恶劣海况时发生极限破断事故的风险增大,从而对海洋平台人员和设备构成严重威胁。因此,有必要研究腐蚀磨损损伤因素对系缆极限破断性能、疲劳损伤的影响以及系缆断裂对系缆构
学位
当前大型主机的客户主要来自于银行、金融和保险等企业,这些企业对大型主机系统的一致性和稳定性要求非常高。而系统参数库中包含了大量主机系统的运行配置参数,对于系统的人工和自动化运维要求非常重要。但是由于参数库的语法格式灵活,类型多,容易随版本改变等原因,导致对参数库的修改需要较高的技术要求。因此在此场景下,系统参数库的精确解析就成为了一个比较急需解决的任务。本文进行了对大型主机系统参数库解析器的设计和
学位
本文论述诚毅公司生产操作模拟系统的软件开发,目的是满足客户对其数控设备平台进行生产操作培训、试验复杂加工方案和设备功能扩展等多方面的需要,为用户提供全面的数字化作业模拟环境。本系统的开发以软件工程的科学理论和方法为指导,针对用户对数控设备作业过程仿真模拟的实际要求,建立了关键的系统功能,具体包括生产实训项目信息管理、数控设备运行模拟及生产过程模拟等方面,确定了具体需求的操作内容和数据处理方法,并给
学位
网格通过基础几何元素的组合近似表示物体的几何形状,是计算机图形学中常见的物体表示方法。按维度划分,网格可分为面网格与体网格。由于体网格不仅描述了物体表面的几何形状,还表示了物体的内在几何特征,因此在受力分析、导热分析等工业场景下的表现远好于面网格。网格质量决定了有限元分析计算结果的精度与效率,因此体网格生成是有限元分析的重要分支,其研究具有重要的现实意义。在所有类型的体网格中,全六面体网格的网格结
学位
报纸
科研合作能够促进学术领域的发展,随着数据科学领域的发展,许多高质量、大体积、高信息量的学术数据也变得容易获得,如何有效利用这些信息从海量数据中挖掘发现有价值的合作者是一个值得研究的重要问题。现有的合作者推荐工作,大都是通过构建同构或者异构的网络,通过使用网络表示学习的方法对节点的向量表示进行提取,然后对某个目标节点进行Top N推荐,或者是对于目标节点集进行匹配,以达到某个特定的最大收益目标。这些
学位
随着我国经济、科技的进步以及电商、制造业等行业的发展,货运行业也进入了蓬勃的发展阶段,运输信息化也成为了货运行业发展的重要趋势。由于货运信息化起步时间较短却发展迅速,行业内的货运平台对于货车与司机的合规合法和服务规范缺少严格监管,货主与货车司机的信任关系也很难建立,因此有必要设计和实现一个建立司机诚信评价体系的货运管理系统,履行平台监管责任,建立货主对货车司机的信任。本文对货车司机在货物运输过程中
学位
胃癌远处转移后预后较差,生存期明显缩短。现报道1例胃癌多发肝转移,癌胚抗原(CEA)高达275.0ng/mL晚期患者的诊疗过程,三线采用甲磺酸阿帕替尼联合伊立替康治疗后无进展生存期(PFS)长达7月余,为晚期胃癌提供可选择的新方案。
期刊