基于rPPG的在线学习者心率估计及其疲劳检测应用

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:cjwmyzl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
相比传统的面对面教学,在线教育具有能够打破时空限制的优势,但是这种学习方式也暴露出教与学交互性差、学生自制力不足导致学习效率低下等问题。随着生理信号测量技术的发展,学习者生理信号的采集与分析已经成为学习者状态分析的重要途径,对学习者学习过程中的心电、脑电、呼吸、皮电等生理数据进行采集和分析,可以了解并追踪学习者的“生理-情感-认知”状态,从而针对性地对学习者进行适应性干预。本研究采用远程光电体积描记技术(remote photoplethysmography,rPPG),旨在解决远程教育场景中在线学习者的疲劳状态识别问题。本研究借助廉价摄像头设备(如:笔记本自带摄像头等)采集学习者的面部视频,描记出面部皮肤中血管容积在心动周期内的变化信息,并在此基础上,借助自适应多级滤波得到较为干净的心率波形,进而估计学习者实时心率并对其疲劳状态进行监测。本研究主要包括三部分内容:(1)提出基于rPPG的心率检测系统的算法框架。系统包括视频初始化、rPPG波形检测、结果可视化三部分。其中,rPPG波形检测主要包含三个关键步骤:第一步,读取视频帧,通过Viola-Jones人脸检测器和KLT算法追踪人脸;第二步,利用YCbCr皮肤检测和CIE L*U*V*色彩空间平均提取rPPG信号;第三步,通过预处理、基于小波和峰谷联合寻峰的自适应多级滤波处理rPPG信号,最终可以得到干净的rPPG波形,进而估计心率值。(2)在公开数据集上进行实验验证基于rPPG检测心率的系统性能。使用本算法在MAHNOB-HCI数据库上进行心率估计的平均绝对误差为6.41,标准差为5.48。在该数据集上,采用控制变量法开展一系列对比实验,纵向比较发现,信号提取方式和心率估计方式对最终的心率估计值准确度有较大影响,ROI的选取对rPPG信号质量影响相对较小。(3)结合远程教育场景和疲劳检测算法,自建数据集进行了基于rPPG的心率估计和学习者疲劳状态检测实验。采集了12名被试的24个10分钟的在线学习者面部视频,并通过被试填写的KSS问卷标记视频的疲劳状态,在提取rPPG时每段视频切割成了 20个30秒的波形,共480组波形数据经过特征提取、特征选择,最终经过随机森林分类的十折交叉验证准确率为0.756,AUC为0.759。本研究提出的心率检测算法框架可以较为准确的估计学习者心率,在此基础上结合疲劳检测算法能够识别学习者的疲劳状态,为在线学习情境下的无扰学习状态检测提供一定的技术支撑。
其他文献
随着税收政策的不断改革、“金税四期”的启动、税收监管的不断加强,建筑施工企业因其业务范围广、业态领域多等特点,面临较大的税收风险。全面了解企业的税收风险,采取有效的管控措施来避免税收风险给企业带来的经济损失变得十分重要。本文通过分析建筑施工企业在生产经营中所面临的税收风险,从企业所得税、增值税等税种角度进行研究,分析各税收风险产生的原因,并提出相应的管控措施,以提高建筑施工企业的税收风险管控水平,
期刊
陈傅良是永嘉学派发展过程的关键人物,曾师事于郑伯熊,又问学于薛季宣,并和永嘉之学集大成者叶适、永康学派陈亮、金华学派吕祖谦、湖湘学派张栻相交游,其与朱熹也有学术上的互动与碰撞。陈傅良现存《春秋》学著述为《春秋后传》。其主张以史解经,经史兼重,反对离经言史。推崇《左传》,在于《左传》通过《春秋》所不书的内容来与“《春秋》之所书”相发明。同时兼取《公羊传》和《穀梁传》的解释。其采用“通世变”的方法去解
学位
《春秋左傳事類始末》一書作爲現存最早的《左傳》紀事本末體文獻,在《左傳》紀事本末改編這一學術脈絡上具有首出意義。關於此書的成因,章沖本人在自序中曾提到過,是苦於《左傳》敘事繁雜且難見本末。因此章沖秉持“事具本末”、“各從其類”的原則編纂了此書,也就開啓了《左傳》以事立篇的先河。《春秋左傳事類始末》一書雖然在《左傳》的改編史上具有相當重要的影響,但對於此書的研究卻寥寥無幾。本文則將對此書進行比較系統
学位
重离子超导同步加速器NICA(Nuclotron-based Ion Collider fA-cility)是位于俄罗斯杜布纳的一种新型加速器,用来研究致密重子的性质。MPD(Multi Purpose Detector)探测器是NICA中三个重要的探测器之一,探测器前端数据传输面临着海量数据传输需求和辐射环境的挑战。因此,抗辐射的高速并串转换(Serializer)技术配合光纤数据传输(10 G
学位
帝王教育作为中国古代受教育对象地位最高的一种教育形态,一直备受皇室与士大夫重视。帝王教育自周秦至明清的实践,深刻影响了中国古代政治治理、学术思想等。特别在经筵制度诞生后,历代士大夫以经筵为平台,致力于教材撰写与讲授,通过诠释经典传达个人乃至群体的思想观点,影响帝王及其治理。这些文本中,以明万历年间两部蒙学著作《帝鉴图说》和《养正图解》流传最广。两书作为帝王教育使用的教材,其修撰、讲授离不开帝王教育
学位
<正>本刊讯(通讯员陈登璋)7月28日,南平市延平区人大常委会调研组对区法院加强执行履职能力建设优化营商环境工作情况开展调研。调研组一行通过实地察看和座谈交流,详细了解执行工作普法教育宣传、惩戒措施落实、联动机制建设、执行工作质效、队伍建设、服务保障经济社会发展大局、优化营商环境工作举措等方面情况。调研组强调,区法院要进一步坚持党的领导,
期刊
党的十八大以来,习近平总书记多次强调反腐倡廉的重要性,并逐渐形成了独特的思想体系。习近平党风廉政建设和反腐败斗争思想生发于马克思主义政党理论、中国共产党廉政思想、中华传统廉洁文化以及全面从严治党的现实实践,坚持标本兼治、攻防兼备、德法兼行的原则。习近平党风廉政建设和反腐败斗争思想不仅丰富了马克思主义反腐败思想的理论宝库,更为我国的制度化反腐提供了方向指引,对世界其他国家的反腐工作也具有切实可行的借
期刊
<正>学习材料是学生建构知识的原料和载体。科学课不仅有实验器材,还有资源性的阅读文本等学习材料。在科学课中,选择或设计难度适中且能激发学生学习兴趣的学习材料极为重要。将科学绘本运用于科学课教学是当前广大教师积极探索的事情,这是因为科学绘本在提升学生的科学素养和学习兴趣方面,有着得天独厚的优势。无论是资讯类的科学绘本,
期刊
在新能源电动汽车和直流微电网场合,双有源桥式变换器(Dual Active Bridge,DAB)以其器件数量少、电气隔离、易于实现软开关和能量双向流动等优势得到广泛使用。但由于电池或者超级电容器的电压在宽范围内变化,导致DAB变换器ZVS范围变窄、电流应力增加;同时在死区时间内会引起电压极性反转和电压跌落现象。针对DAB变换器在宽范围输入电压下存在的上述问题,本文提出一种集成的四开关Buck-B
学位
吉安府位于江西省的腹心地带,其“俗尚守节”,拥有明清时期江西省数量最多、规模最大的节烈女性群体。这与吉安府特殊的地域文化相关,包括鼎盛的科举文化塑造了大批宣扬节烈女性事迹的士人,其中阳明学士人基于对忠臣的期望和名教使命成为明中期吉安府书写贞节烈女的重要人物,以及在江右商帮的发展过程中,出现了许多“不归”的江右商人。为了旌表具备模范作用的节烈女性,明清时期吉安府共建立了 17座贞节烈女祠。雍正元年(
学位