上下文感知与区域增强型全脸视线估计方法

来源 :重庆大学 | 被引量 : 0次 | 上传用户:dhamma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视线估计技术在人机交互、辅助驾驶、头戴设备等领域有广泛的应用前景与实用价值。随着计算机视觉的发展,基于深度学习的全脸视线估计方法成为研究热点,其中如何提高此方法的估计精度与鲁棒性是业界的难题。本文基于Res Net50作为主干网络,结合改进的感受野模块与提出的区域增强机制,建立了全脸视线估计模型。此模型在MPIIFace Gaze数据集与本地数据集上分别达到4.59°与4.93°的估计精度,与基准模型相比,展现出更高的估计精度与更强的鲁棒性。总结本文的主要工作如下:为更好地评估模型的性能,建立了本地全脸视线估计数据集。通过对比实验,从几种经典的人脸特征点检测算法中选出鲁棒性最强、效果最好的算法,并结合此算法对采集的12名实验者的原始图像数据进行标注、归一化,最终建立约42 000张图片以及对应标签的数据集。为提高视线估计方法的估计精度以及鲁棒性,建立了全脸视线估计模型。针对基准模型上下文感知能力不足导致的精度问题,改进了感受野模块。首先去除感受野模块多分支结构前的1×1卷积,然后将其“Basic Conv”分支改进为“identity”分支,最后建立了多尺度空洞卷积、特征融合的上下文感知模块;消融实验表明,此模块具有更强的信息提取能力,有利于提升模型的性能。针对全脸图像作为输入存在光照、头部姿势等影响导致的鲁棒性问题,提出了区域增强机制。该机制采用并行的最大池化和平均池化,在通道维度上获取图像的细节信息,并通过系数加权的方式去增强重要的局部区域特征;可视化实验表明,此机制具有良好的重要区域增强效果与抗噪声性能。最后结合上下文感知模块与区域增强机制,建立了基于Res Net50的全脸视线估计模型。进行了实验与分析。通过留一人交叉验证法验证提出模型的性能,相比在MPIIGaze数据集上测试的眼图视线估计模型Gaze Net,本文模型的视线估计误差降低18.62%;相比几种全脸视线估计方法中最好的模型Dense Net_ICBAM,在MPIIFace Gaze数据集与本地数据集上分别降低3.37%、4.48%。结果表明,此模型具有良好的视线估计精度与更强的鲁棒性。
其他文献
电力公司围绕新型电力系统数字化转型建设工作提出了促进新能源并网消纳、增强配网、调度和运维自动化建设和电力市场改革等措施,随之产生的精准负控、实时现货交易和广域实时监控等业务需要高精度和高时效的数据。电能计量系统(Tele Meter Reading,TMR)作为用户和电网之间信息双向交互、数据共享的基础。现有的TMR系统具备省级几百万只电表的大规模集中采集能力,实现了日冻结和月冻结数据,然而其数据
学位
近年来,人们开始重视风能、太阳能等新能源的利用,以解决传统化石能源的枯竭以及相应的环境问题。然而,这些新能源具有出力不稳定、地理位置分散等特点,难以独立地参与电力市场。虚拟电厂(Virtual Power Plant,VPP)这一技术克服了各类分布式资源独立参与电力市场所面临的装机容量小、地理位置分散、可控性弱等缺点,能够提高整体的能源利用率,挖掘各类分布式资源参与电力市场的潜能。日前市场(Day
学位
胎儿心电信号可以反映胎儿在妊娠期的生长发育和健康状况,有助于早期诊断胎儿各类疾病。由非侵入式方法采集的信号分为有母体参考信号的组合源信号和无母体参考信号的腹部源信号,其中包含的胎儿心电信号均具有幅度低、信噪比低、受母体心电信号干扰较大的特点,阻碍了胎儿心电信号应用于临床医学诊断的进程。因此,本文重点研究了组合源和腹部源胎儿心电信号提取方法。同时,因胎儿心电信号能够提供较多的胎儿心律失常相关信息,对
学位
目前,随着我国绿色发展理念的深入,驱动系统快速向清洁化、电动化发展。永磁同步电机具有转矩密度大、效率高等优点,在工业界中得到了广泛应用。本文以永磁同步电机无位置传感器控制系统为研究对象,针对逆变器非线性导致电机电流谐波加重、位置观测算法准确性降低等问题展开研究,期望通过提出补偿策略改善永磁同步电机电流谐波问题,提升位置估算准确性及系统动态性能。首先,本文分别在自然坐标系、旋转坐标系下建立永磁同步电
学位
随着无线通信技术的快速发展,无线网络传输能耗明显增大,这使得无线网络的传输能量效率优化变得尤为重要。近年来,由于无线携能通信(Simultaneous Wireless Information and Power Transfer,SWIPT)技术可利用无线射频信号同时实现无线传能及信息传输,因此持续受到研发人员的广泛关注。大量研究将SWIPT技术应用于无线网络以优化其传输能效。然而,在现有相关研
学位
作为第五代移动通信(5th Generation,5G)关键技术之一的大规模多输入多输出(Multiple Input Multiple Output,MIMO)技术因在能量效率和频谱效率等方面表现出的诸多优势而受到学术界和工业界广泛的关注。由于大规模MIMO系统中基站天线数量巨大,基站为了精确地获取下行信道状态信息(Channel State Information,CSI)将造成极大系统开销,
学位
车载网络和相关应用的迅速发展,使得车联网中计算密集型应用对资源的需求急剧增加,对现有车载设备有限的计算资源提出了挑战。在车联网中引入移动边缘计算(Mobile Edge Computing,MEC)被认为是一种有效的解决方案,能够将计算能力扩展到车载网络边缘。但是MEC服务器的资源仍是受限的,当任务爆炸式增长时无法保证服务质量,甚至导致MEC服务器出现过载现象。因此,为缓解MEC服务器计算压力,同
学位
近年来,建设大容量卫星移动通信系统成为世界航天大国建设的重要任务,高速数据传输技术作为卫星移动通信系统的关键技术之一,正受到越来越多的关注。而宽带高速数传系统中往往伴随着器件饱和、群时延失真和环境干扰等问题,导致接收端的信号常有码间串扰现象。信道均衡作为高速数传系统中的关键技术,可以有效地消除或减弱上述问题。其中,盲均衡技术具有结构简单、复杂度低和带宽使用率高等优势,非常适用于卫星高速数传基带系统
学位
无人机基站(unmanned aerial vehicle mounted base station,UAV-BS)可以作为地面蜂窝网络的有效补充,来缓解诸如地面基站故障、网络流量拥塞、和偏远地区弱覆盖等问题,因此被视为实现6G全球覆盖愿景的关键技术之一。相比于传统的地面基站,无人机基站具有部署迅速、建设和维护成本低、部署场景灵活等优势。此外,无人机基站能够在三维空间调整位置,从而增加与地面用户建
学位
随着无线通信技术和电力电子系统的快速发展,小型高性能功率变换设备的需求不断增加,为了减小功率变换器尺寸、增大功率密度,高频化成为了功率器件发展的必然趋势。然而,随着工作频率的不断升高,器件的功率损耗大大增加,功率传输效率受到了极大的影响。为解决高频功率器件损耗大这一问题,E类软开关功率变换器凭借其理论上100%的效率成为了近些年的研究热点。为了进一步提升E类功率变换器在实际电路中的性能,各种新型E
学位