基于多视角融合的智慧教室学生视觉注意力估测工具

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:aishangliuning
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着线上线下混合式教学的新型教学形式的出现,课堂的数字化虚拟化成为未来的发展趋势,在进行课堂数字化的过程中,学生的空间姿态和视觉注意力测量作为今后研究的重点之一,受到国内外大学的研究和关注。在先前研究工作中,多针对传统的排座式布局的教室类型,考察学生面向前方固定区域的视觉注意力。而随着智慧教室的大规模建设,教室内的座位组合方式和教学呈现内容来源出现多元化,师生交互也更加频繁,现有工作不足以应对活动角度范围不受限制的学生视觉方向相关测量,为此本文面向自由座位布局,提出了一种考虑师生交互过程中的学生视觉注意力变化的综合测量方案。考虑到单一视角摄像头采集画面信息有限,本文提出了基于多视角摄像头的解决方案,而使用多视角画面会带来一些挑战性问题:多视角中相同目标的认定问题、多视角测量结果融合问题、考虑不同视角摄像头画面采集效果的融合优先级问题以及基于空间视锥计算的视觉朝向注意力估测问题。针对上述问题,本文设计并实现了一种基于多视角信息融合的学生视觉注意力估测工具,首先通过对摄像头的分区参数标定,实现了较为准确的从像素坐标到空间中平面坐标的映射变换,之后在每一个单视角画面中将头部姿态作为视线方向的近似进行测量,然后将其在不同视角中转换成统一的单位方向向量表达,再根据每一个学生目标的姿态自适应地计算视角融合优先级,最后通过融合多个视角的测量结果以实现全体学生的视线方向估计并利用视锥模型模拟真实视野范围进行视觉注意力的估测。在实验测试过程中,本文分别对于不同位置的固定内容区域的静态场景以及教师在讲台附近和教室中间走动的动态位置变化场景展开学生视觉注意力测量,实验结果表明,本文提出的视觉注意力估测工具可以适用于静态场景和动态场景,针对静态内容区域实现了对全体学生视觉关注变化的追踪与测量,针对动态的教师位置实现了学生视觉注意力的持续跟踪测量与分组统计。
其他文献
二维虚拟试衣技术利用服装与人体图像合成虚拟试衣图像的方式来模拟服装的试穿效果。当前主流技术手段利用人体的体型姿势信息对服装图像进行扭曲变换,弥补服装与人体间的空间错位,然后再将扭曲服装与人体图像进行融合得到合成图像。然而,空间错位是无法完全消除的,人体与扭曲服装之间的未对齐区域会在融合过程中混入无关纹理,从而在合成图像的服装区域造成模糊和伪影。因此,如何解决上述问题是二维虚拟试衣领域面临的重要挑战
学位
在教育信息化高速发展的背景下,许多学者在教育数据挖掘领域开展研究,而其中最热门的研究是成绩预测。成绩预测基于学生的成绩数据、行为数据、或其它个人数据预测学生未来表现。早期的成绩预测主要依靠学生的成绩数据,随着大数据时代的到来,可用于成绩预测的数据得到了极大地扩展。然而,目前成绩预测研究仍存在着采用的数据类型比较单一,数据规模普遍较小的问题。针对这些问题,本文开展了基于较大规模多源数据的成绩预测研究
学位
近年来,包含电脑生成的图形、文本和动画的屏幕内容(Screen Content,SC)越来越受到人们的欢迎,如屏幕共享类型视频。其中,屏幕内容编码在屏幕共享方面发挥着极其重要的作用。然而,屏幕内容编码仅仅沿用了普通编码器的帧内预测框架,屏幕内容的帧内预测编码仍存在提升空间。因此,本文分别针对屏幕内容的帧内划分树结构和帧内预测模式对帧内的编码算法进行优化。一方面,针对帧内预测的双树划分结构进行优化。
学位
在嵌入式摄像头系统中实现基于机器视觉的目标检测算法,是安防领域走向智能化的重要一步。传统的深度学习算法设计与实际部署至目标平台是相对独立的两个环节,由于设计平台与实际部署平台之间存在的硬件架构差异,许多GPU平台上设计得到的算法无法充分利用目标平台的硬件计算能力,该问题已经成为许多研究人员关注的焦点。针对目前嵌入式摄像头部署的智能算法无法充分利用硬件计算资源,算法精度与实时性无法兼顾的问题,本文研
学位
随着社会的发展和深度学习技术的完善,构建深度学习模型自动分割图像中异常模式,成为了计算机视觉领域的研究热点之一。该项任务具有重要的研究价值和广泛的应用前景,例如其可被应用于质检领域,发现产品上存在的瑕疵。然而,该项任务还存在着巨大挑战,如异常样本难以获取,异常区域视觉可分辨性低,异常模式具有未知性等,因此通常要求模型能在基于正常图像学习的情况下,对待检图像中的潜在异常进行分割。基于上述任务设置,近
学位
科研领域知识图谱将科研平台下的海量数据以图结构形式彼此关联起来,使其更符合人类的认知思维,方便了科研人员对领域知识的组织和管理。然而,当前科研领域知识图谱存在知识缺失的情况,导致其下游应用效果欠佳,因此对科研领域知识图谱进行补全至关重要。本文提出了一个知识图谱补全模型Trans-Cap Net,模型主要包括两部分:利用图谱现有知识进行补全的链接预测部分和利用外部数据源知识进行补全的知识抽取部分。在
学位
交通标志检测是自动驾驶任务中的重要一环,也是当前的研究热点之一。然而,现有的交通标志检测算法仍然存在一些问题,比如计算量大,检测速度较慢;训练流程复杂;对交通标志的细粒度分类能力较差等。本文充分调研了交通标志检测领域的数据集和算法,根据交通标志数据集的特点和计算机视觉相关领域中各算法的解决思路,对交通标志检测任务中存在的问题和难点展开了研究,本文主要的工作内容和创新点总结如下:1)现有的交通标志检
学位
沉浸式视频能在提供沉浸式视觉效果的基础上,实现用户与视频内容间的交互,显著提升用户的观看体验。该类视频的独特优势引起了科研人员和数字媒体行业的广泛关注,MPEG动态图象专家组正在对其制订相关的国际标准。然而,不准确的深度估计和编码压缩造成的深度误差问题是当前沉浸式视频面临的挑战,会导致合成视点深度图存在噪点区域和偏移的边缘区域,从而影响合成视点的质量。此外,目前行业内还不具备提供规范沉浸式视频业务
学位
本文针对地球化学样品、锂矿石、铌钽矿和稀有稀土矿中铌、钽分析中出现测定结果偏低的问题,从样品溶解率、溶液中铌、钽的水解情况和所用仪器分析情况考虑,对常压酸溶法和高压密闭酸溶法两种预处理方法进行改进,以提高铌和钽的溶解率。用具有耐HF进样系统的电感耦合等离子体质谱仪(ICP-MS)测定两种溶解方法所得不同介质溶液中的铌和钽,分析其不同溶液中的稳定性,找到最佳的提取液介质。确定了铌、钽在含0.1%HF
期刊
体外冲击波碎石手术具有创伤小、治疗效果好等诸多优点,常被用于肾结石患者的治疗。随着科学技术的发展,人们发现将科技同传统医疗结合可以有效提高医疗质量。智慧医疗的推广极大促进了医疗设备的研发,于是大量医疗设备被引入到了体外冲击波碎石手术中。然而,当前手术设备不参与医生的决策,仅仅起到了提供视野和发射冲击波的作用,冲击波入射路径完全由医生凭借自身经验决定。在当前手术环境下,医生选择冲击波表皮入射点时需要
学位