面向智慧教室的教学手势智能识别研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:SURE181709394
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在教育信息化的持续推进与蓬勃发展进程中,人工智能与教育的深度融合为智能化教学评价提供了更多的可能性。手势是教师课堂教学非言语行为的重要组成部分。对学生而言,教师的手势传递了丰富的信息,吸引着学生的注意力。对教师而言,手势不仅能够调节自身话语节奏,还能有效强调话语中的重点内容。因此,课堂教学手势的智能识别是智能化教学评价的重要一环。广义上的手势不仅包括手指及手部的形态动作,还包括人体的姿态动作信息。关于手势的识别研究,大多数是利用关键点位置信息进行识别。但是,智慧教室下的教学视频,常常由于教师手部目标较小导致手部关键点识别错乱。而通过人体关键点位置信息进行姿态动作估计的方案中,识别出的手势通常较为单一,并且不具备识别课堂连续性手势的能力。基于以上分析,本文提出了一种手部静态手势识别方法,并利用教师关键点位置信息完成连续性教学手势识别。论文主要的工作和创新点如下:首先,针对教师手部画质不清晰而导致关键点识别错乱的问题,提出了一种手部静态手势识别方法。构建了一个融入空间注意力机制SAM的GoogLeNet网络,并利用Mixup线上数据增强的方式有效减少了模型过拟合,提高了模型鲁棒性。在我们自己建立的手部静态手势数据集上进行测试,结果表明,该模型在手势数据集上取得了较好的效果。其次,提出了一个用于识别教师关键点的网络模型。在特征提取阶段,为了让网络关注不同通道之间的重要性,在残差模块中嵌入了通道注意力机制,并针对传统关节点热图编码和解码过程中存在的量化误差问题,引入了对关节点的分布感知坐标描述方法DARK。实验结果表明,本文提出的模型在公开数据集上相较于基准模型,效果有明显提升。最后,针对连续性手势的识别,构建了一个连续性教学手势数据集,并提出了一种基于肢体角度计算的节拍性手势识别方法。利用在连续性手势数据集上训练好的连续性手势分类模型,可有效识别教学视频中的连续性教学手势;通过计算连续多帧画面中教师肢体角度变化幅度,可有效识别教师是否存在节拍性手势。
其他文献
蒸散发是研究一个地区水量平衡、能量平衡、植被生理健康评价和水资源管理估算的重要参数。本研究基于三温模型,结合无人机遥感、Landsat 8、地面观测,获得了龙华区九龙山数字城、鹭湖中心城这2个重点发展片区的蒸散发年均值,并对结果进行分析,主要结论如下:1)从空间分布来看,龙华区重点发展片区蒸散发年均值空间异质性高,数值区间在0~1 233 mm/a。2)九龙山数字城的年均蒸散发值要显著高于鹭湖中心
【目的】补体结合试验是布鲁氏菌病(简称“布病”)血清学确诊方法。现行国家标准《动物布鲁氏菌病诊断技术》(GB/T 18646-2018)中收录的补体结合试验分为常量法补体结合试验(CFT)和微量法补体结合试验(mCFT),但两者之间的相关技术参数和结果判定标准均存在差异,导致常量法CFT和mCFT检测结果不一致。笔者通过对mCFT参数的改进优化,使现行标准中mCFT的检测结果等效于常量法CFT,实
针对山岭隧道爆破开挖普遍存在的超欠挖过大、碴体块度不适等问题,分析了造成该问题的主要影响因素,确定了隧道爆破开挖效果评价指标体系,建立了以爆破块度和超欠挖量为预测目标的隧道爆破效果神经网络评价模型,提出了基于深度学习的隧道爆破碴体块度实例分割算法,形成了山岭隧道爆破参数优化决策方法,进而开展了工程应用与验证。结果表明:① 基于深度学习的隧道爆破碴体块度实例分割算法检测出的块体大小与真实值误差小于6
为探究20年来我国司法会计研究的现状及困境,采用文献计量法,对CNKI数据库中检索出的司法会计相关高质量论文进行统计分析,梳理其代表性成果。研究发现:司法鉴定管理体制调整,给行业发展带来不利影响;司法(法务)会计之争,导致学术研究陷入困境;高水平研究成果较少,司法会计研究创新不足;学术氛围濒临冷场,研究梯队陷入“青黄不接”局面;国际化交流不够开阔,研究视阈陷入“固步自封”境地。提出如下解决对策:规
蔬菜是居民生活中必不可少的农产品,其中,叶菜类蔬菜易积累重金属,存在较大的安全风险。因此,叶菜等易腐蔬菜的微量元素快速分析至关重要。本文采用电感耦合等离子体质谱法建立了易腐叶菜类蔬菜微量元素分析的标准模式下半定量分析方法。称取0.5~0.8 g样品,加入5 mL硝酸消解完成后,采用标准模式-电感耦合等离子体质谱法进行半定量测定。通过对GSB-26芹菜粉标准物质及对样品加标回收的半定量分析,结果表明
本文首先简单介绍了BIM技术的概念及主要特点,其次分析了BIM技术在建筑施工中的重要价值,最后就其在建筑施工领域的实践应用进行探讨。希望有助于提高BIM技术的影响力,推动其广泛、深入应用。
智慧教室成为一个时代所向的发展趋势。由于物联网、人工智能等信息创新,智能化教学的优越性也凸现了起来。教育部明确提出要促进信息化科技应用和教育与教学深度融合,促进基础教育信息化转化升级,提高教师信息化素质。通过优质的数字教学资源共建共享、现代信息化建设与高等教育全面深入融合、积极推动教育教学与管理模式革新,助力解决高等教育改革与蓬勃发展中的重大难点问题,推动高等教育公平、改善高等教育品质、构建学习型
基于2014年和2020年地下水位监测数据,估算了黑河下游额济纳绿洲七道桥胡杨(Populus euphratica)林生态系统生长季旺盛期的地下水蒸散发(ETg),并与从涡度观测系统测定的蒸散发(ET)作比较,同时分析了不同模型的估算结果及其主要影响因素。结果表明:(1)基于昼夜水位波动法(White、Hays和Soylu方法)估算的ETg均与生态系统ET变化趋势一致且显著相关,经过对比分析得出
党务工作和思政工作同属于高校立德树人的一部分,二者之间有着密切联系。其中,思政工作为党务工作奠定了良好基础,而党务工作又对思政工作提出了更高要求。在艺术院校立德树人工作中,要想产生更理想的育人效果,还需要不断探究党务思政工作的创新路径,在二者的充分融合下培养出更多高素质艺术人才。基于此,文章围绕艺术院校党务思政工作创新路径展开研究。
超导磁体产生的强磁场应用于散裂中子源装置中的样品环境谱仪,可极大的扩展其使用能力和范围,推动物质科学等方面新发现。为适应中子束流的散射特点,应用于中子散射样品环境的高磁场超导磁体一般为分裂型线圈组合结构,存在结构紧凑、磁场高、应力集中、制造工艺复杂等特点。近些年来高磁场磁体技术得到显著发展,因而设计制造一款更大散射角度、安全稳定运行的分裂型高磁场超导磁体提出了高磁场、简结构和易加工严苛要求。针对中