基于局部网络共享机制的多视图多任务人眼凝视估计算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dingdang7456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
眼球凝视估计是利用脸部图像中的眼部区域对眼睛的凝视方向与凝视点进行估计,判断其注意焦点的一种检测方法,其应用范围广具有重大经济价值。相比于早期的物理建模方法,基于深度学习方法的眼球凝视估计在准确率、稳定性、方便性等方面具有显著优势。目前,基于深度学习的单一凝视估计研究要么仅估计凝视点要么仅估计凝视方向,其性能还有提升的空间。基于此,本文主要研究将凝视点估计与凝视方向估计整合至同一个算法中,实现更为精确的凝视点和凝视方向估计。首先,构建本文实验所需的实验数据集。鉴于现有公开的多视图数据集的缺乏与其特征表示的不足,而精确的凝视点估计需要眼睛位置信息,多视图图像可以间接获得准确的眼部位置信息。因此本文采用3个校准过的相机同时拍摄人脸图像,对相机采集到的多视图图像使用Adaboost方法进行人脸检测,对检测到的人脸使用DMFRLMS方法进行脸部特征点检测,最后利用眼部区域特征提取算法从脸部特征点中提取眼部特征,得到的眼部区域图像作为凝视点数据集。对于凝视方向数据集本文采用直接公开的单视图MPIIGaze数据集。其次,构造对凝视点与凝视方向估计数据集进行特征提取的局部共享网络。在同一个局部网络中既可以实现对用于凝视点估计的多视图数据集的特征提取,也可实现对用于凝视方向估计的MPIIGaze数据集的特征提取,该局部共享网络引入了残差结构,避免了深层卷积神经网络训练中的梯度消失。凝视点与凝视方向特征提取共享一个局部网络,保证性能的同时减少了网络整体的开销,加速训练,缩短训练时间。最后,提出多视图多任务学习(MTL)框架,实现对凝视点与凝视方向的同时预测。针对凝视方向预测,对左眼和右眼提出了共面约束;针对凝视点预测,采用三视图数据输入间接引入眼睛位置信息,设计了一个跨视图池化模块;最后将凝视点与凝视方向的各自的代价函数整合至一个代价函数,加入正则化项防止网络训练出现过拟现象。实验结果表明,基于局部网络共享的多视图多任务凝视估计算法在凝视点与凝视方向两项指标上比当前主流方法领先。
其他文献
激光焊接技术广泛应用于材料加工领域,具有热影响区小、焊接精度和自动化程度高、焊接速度快等优点,使得其在汽车制造、航空航天、深海远洋等领域发展迅猛。然而其在实际应用中也常因装配精度要求高、焊接过程中小孔熔池易失稳等问题而受到诸多限制。研究发现双光束激光焊接能有效解决以上问题,例如可调节两道光束的能量配比、光斑间距以及排布方式,使得其在保证焊接效率的同时极大提高焊接过程的灵活性。但由于焊接过程中存在两
目的:探讨膀胱活动低下症临床综合性诊治流程及治疗效果。方法:收集2019年7月至2020年1月就诊于武汉协和医院泌尿外科门诊的患者,临床表现为尿频、尿急、排尿费力、排尿滴沥、下腹胀、尿潴留。排除尿路结石,尿道狭窄,泌尿系统肿瘤,泌尿系统感染,膀胱出口梗阻,良性前列腺增生等。通过详细询问病史,体格检查,神经系统检查,尿常规及泌尿系统超声、膀胱及尿路造影、尿动力学等方法诊断UAB的患者26例,21例获
可控核聚变是理想的新能源,氢的同位素氘、氚作为核聚变能的原料,易在聚变堆包层结构材料中扩散、渗透,造成放射性燃料氚泄露、结构材料脆化等后果。如何防止氚渗透成为核聚变研究的关键问题之一。目前,在结构材料表面制备阻氚涂层是解决氚渗透问题的有效方法。氧化铝陶瓷涂层具有优良的阻氚性能、热力学稳定性以及与氚增殖剂良好的相容性,是主要候选阻氚材料之一,但因其与钢基体的热膨胀系数差异过大,涂层易脱落失效的问题难
东北振兴作为我国区域经济的“四大板块”之一,维护国家五大安全战略地位十分重要,关乎国家发展大局。为解决体制机制、产业结构的深层次问题,进一步加快落实新一轮东北振兴战略,推进东北地区经济企稳向好,党中央、国务院创造性地提出了要组织大连市与上海市等七个省市间建立对口合作机制。大连与上海立足两地的比较优势,制定了符合两市实际的对口合作实施方案,进一步助力经济向好发展。随着党中央、国务院不断深化对口合作政
随着电子制造技术的不断革新和对焊点可靠性的要求进一步提高,AuSn20钎料的制备技术、焊接性能、焊接组织演变以及力学性能仍是现阶段电子封装的研究热点之一。随着封装密度的增加和焊点尺寸的持续降低,AuSn20钎料中钎料薄膜的使用也越发重要。AuSn20钎料薄膜作为AuSn20钎料重要形式之一,其实际应用中微观组织的分布与剪切力学性能却少有研究。为此,本文采用喷射沉积技术制备了不同厚度(3μm、6μm
氧还原反应和氧析出反应缓慢的动力学过程是影响金属-空气电池性能的关键因素,因此开发高活性和高稳定性的氧还原/氧析出双功能电催化剂显得尤为重要。硫化钴是最有希望替代贵金属的双功能催化剂之一,但是它在碱性环境中的稳定性和氧析出活性较差。本文以提高硫化钴双功能电催化剂的活性和稳定性为目标,首先探究了硫化钴催化剂在催化过程中活性衰退的根本原因,随后提出了表面包覆策略和阴离子掺杂策略来改善其稳定性和催化活性
近些年来,随着臭氧层空洞和全球变暖等环境问题的日益凸显,节能环保产品的提出和使用得到了人们越来越多的关注。在房间空调器行业,R290凭借优良的环境友好性和热力学特性,已经成为一种愈发重要的制冷剂。本文在中国房间空调器行业制冷剂替代的背景下,通过理论分析和实验研究,提出了一种安全性高、系统性能好的R290房间空调器。本文首先对比了R290、R22、R410A的各项热物理性质,同时比较了这三种制冷剂在
像素单元微缩化可以提高LED显示屏的分辨率。但是,LED芯片尺寸和间距的微小化会导致固晶难度大大提升,连接材料必须具备超细间距连接能力,才能保证固晶工艺的顺利进行。各向异性导电焊胶作为一种新型连接材料,相对于传统的锡银铜焊料而言,具备超细间距连接能力,且固化温度低,工艺简单,适合应用在Mini-LED显示的COB封装中。因此,本论文对基于各向异性导电焊胶的COB-LED芯片进行可靠性方面的研究。首
学位
环路热管(LHP)作为一种高效被动式传热元件,能够有效解决电子设备高速发展过程中的热管理限制。影响环路热管传热性能的因素主要有结构设计、工质选取和冷源温度等,其中研究工质对提升环路热管传热性能的影响尤为重要。自湿润流体是一种随着温度升高具有特殊表面张力变化的流体,其数值随温度的升高先降低到某一极小值后再升高。本文用正庚醇溶液制备自湿润流体,搭建了环路热管实验系统,通过实验对比水-LHP和0.1wt