基于头眼特征融合的驾驶员视线区域估计及驾驶场景关联方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:lmj1103
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高级驾驶辅助系统(Advanced Driver Assistance Systems,ADAS)中的驾驶员注意力监测采用视线估计技术为提升驾驶安全性能方面提供了重要支持。根据使用视线估计技术实现驾驶员注意力监测的实际问题,结合当前驾驶员视线估计方法的研究现状,本文研究的关键理论和科学问题是实现驾驶员注视区域估计以及驾驶员注视信息与交通场景目标的关联。为此,本文重点研究视线估计理论技术和交通场景下视线与目标关联学习方法,提出了基于头眼特征融合的视线区域估计方法和两种基于映射视线信息转换的视线与目标关联方法。当前驾驶员的视线估计任务主要研究驾驶员的视线映射区域,存在头部姿势差异大、相机采集方向多变、眼镜遮挡等困难以及实时应用的需求,先前的大多数方法使用简单的拼接来组合面部模态特征和头部姿态特征,这可能会导致特征尺寸不平衡而过拟合。本文针对以上挑战,对驾驶员面部信息的编码、关键点位置信息的利用、头部姿态特征的融合进行研究,提出了对应的方法和模型,通过驾驶员视线区域估计数据集上的大量实验和ADAS上的集成应用,验证了本文所提方法的先进性和有效性。本文主要研究内容和创新点如下:(1)本文提出了一种基于头眼特征融合的视线区域估计网络(Head Pose Fusion Assisted Supervision&Eye Region Weighted Encoding,HP-ERW),通过空间注意力和克洛克内积机制来融合头部姿势特征和面部特征。首先,引入了处理头部姿势特征和面部信息的预处理模块,目的是提取输入向量并提高网络的融合速度。其次,设计了一种基于空间注意力的眼部区域加权编码网络(Eye Region Weighted Encoding Network,ERW-Net)以增强网络的感知能力来编码特征。最后,提出了一种基于克洛克内积机制的双通道头姿特征融合网络(Head Pose Fusion Assisted Supervision Network,HP-Net),旨在融合头部姿态信息并提高区域估计精度。通过大量实验表明,本文提出的HP-ERW模型在几个公共数据集上的表现性能优于现有方法。(2)本文提出了基于视线区域转换的粗关联方法(Rough Association Method Based on Gaze Zones Conversion,RA-VFCGZ)和基于交通场景点云信息的细关联方法(Fine Association Method Based on Point Cloud of Traffic Scene,FA-PCITS),实现将驾驶员的待评估视线信息映射在交通场景的大致区域或者目标物体上。RA-VFCGZ模型依据实验标定结果网格化设计车外驾驶场景,实现从驾驶员视线区域到四个相机视角下的车外驾驶场景的关联。FA-PCITS模型提出一种不同视角坐标系下的相机相对位置标定方法,结合点云数据和图像信息,将驾驶员的视线信息投影至雷达坐标系下,实现从视线向量到车外注视目标的转换,完成驾驶员视线目标估计任务。(3)本文构建了基于RGB-D数据的驾驶员多视线区域数据集。当前针对驾驶员视线区域估计研究的公开数据集较少,本文考虑到天气、光照等影响,在车辆驾驶室内拍摄并构建了基于RGB-D图像的驾驶员视线区域估计数据集Rs-DGZ。Rs-DGZ数据集将驾驶员的注意力划分成19个关注区域,注视区域划分详尽,为进一步与驾驶场景下的目标关联任务提供了解决方案。数据集还原度较高,为驾驶员视线区域估计任务的研究提供了真实应用场景的拍摄数据。(4)本文搭建了 ADAS驾驶员注意力监测系统,实现了驾驶员人脸检测、关键点位置检测、头部姿态估计、视线估计、注视区域估计等。其次,ADAS采用HP-ERW模型生成的视线区域动态转移概率和RA-VFCGZ关联模型生成的安全驾驶系数来监测驾驶员状态,及时给予驾驶员注意力偏移的提醒,增强驾驶员的环境感知能力,实现驾驶员的注意力监测和感知目标的智能关联。实验表明,使用本文所提出方法设计的ADAS达到了 23.5fps的处理速度,满足实时性要求,且内存仅需4,884KB。
其他文献
人类动作识别是计算机视觉领域的热点研究课题,在人机交互、自动驾驶、异常检测等领域具有广泛的应用价值。在基于视觉的人类动作识别研究中,存在诸多用来分析人类行为的数据模态,包括RGB、深度图像、光流及骨架序列等,不同模态数据可以提供异构互补的动作信息,各有优势,因此基于多模态数据的动作识别吸引了广泛关注。本文基于多模态数据开展动作识别算法的研究,涉及手物交互动作识别、人体动作识别、多模态数据融合及人机
学位
永磁同步直线电机(PMSLM)具有结构简单、推力大、损耗低、定位精确和响应速度快等优点,被广泛应用于高档CNC数控系统、物流传输系统等场合。在这些场合下多采用长定子短动子的PMSLM结构。由于运动行程较长,存在定子电感和电阻值较大、直流侧电压高以及系统整体效率低等缺点。将PMSLM的定子进行分段处理组成所谓的定子分段式永磁同步直线电机(SS-PMSLM),可以避免上述缺点。SS-PMSLM的每段定
学位
高脂血症是临床的常见病,是心、脑等重要靶器官动脉粥样硬化的高危因素之一。中医治疗高脂血症理论基础丰富,治疗方式多样,疗效确切且安全性高。本文从单味中药、中药复方、针灸埋线、食疗、运动疗法方面总结中医治疗高脂血症的相关临床研究,为该病临床治疗和后续研究提供参考。
期刊
随着医疗水平和计算机技术的飞速发展,基于深度学习的计算机辅助外科手术系统在临床实践中起着越来越重要的作用。微创手术作为其中最具有代表性的手术,对医生和患者都带来了非常有价值的帮助,但微创手术中非直观的感知和处理会影响医生的操作,医生往往要借助其他信息来观测手术的进度和病人的情况。手术工具检测及阶段识别这两个关键技术可有效地缓解上述问题,从而提高微创手术的质量和效率。与自然场景中的检测和识别任务相比
学位
随着人口老龄化社会的发展,老年人和失能人士的护理需求越来越多。而现阶段专业的护理人员短缺,家庭和社会面临着巨大的护理压力。近年来,服务机器人逐渐应用于家庭生活,辅助老年人完成日常活动,改善老年人的生活质量。机器人能够主动地识别人类的意图,是实现自然高效的人机交互的关键。现有的意图识别方法常使用语音、手势或肢体接触等人机交互方式,但由于老年人和失能人士存在语言、行为或动作表达能力下降的问题,人机交互
学位
随机系统的状态估计问题是控制领域最基础,同时也是最重要的问题之一,其原理是根据可获取的测量数据估算动态系统内部状态。相较于可以直接得到的系统的输入输出信息,状态估计研究可以用来获取和描述系统内部的动态规律,因此状态估计对于了解和控制一个随机系统具有重要意义。不同于传统一维随机系统,二维系统中的信息沿着两个独立的方向传播,这导致更复杂的动力学。与此同时,正是由于二维系统的这种双向传播的特性,使得其对
学位
机器人抓取检测旨在基于图像等观测信息生成适合机械手抓取物体的位姿,对于工业过程中的物体分拣和生活场景中的人机互助等应用具有重要作用。当前机器人抓取检测面临抓取位姿表示模型适用性差、物体特征利用率低、数据集标签稀疏且训练和测试分布不同等问题。针对上述问题,本文从提高抓取位姿表示模型适用性、优化特征提取和融合方式、改进抓取标签生成过程三个角度展开研究,提出基于有向抓取建模与区域感知的像素级平面抓取检测
学位
机器人柔顺装配技术不仅可以提高生产效率,而且可以提高工业产品的质量。然而不确定性的非结构化环境对机器人的感知、控制和任务规划功能提出了更高的要求。传统机器人缺少准确灵敏的力反馈,无法获取装配接触状态多传感描述;传统的位置控制难以保证机器人与各种环境进行稳定灵活的柔顺接触;此外,现有的阻抗规划方法不适用扰动未知的工业环境。因此,面向机器人轴孔柔顺作业需求,深入分析装配接触分阶段力学特性,对装配接触力
学位
伴随着医药卫生体制改革的推进,我国的医疗卫生体制改革也踏上了新的征程。新型冠状病毒肺炎暴发,我国在极短的时间里迅速行动,从各大公立医院抽调大量卫生技术人员前往一线参与疫情防控工作;这次大规模抵抗疫情的行为,很好地展示了我国公有制为主体的优势。公立医院改革的首要任务是医疗质量与服务效率的提升;然而就目前公立医院现状来看,不完善且不合理的医务人员激励体系严重影响了医务人员积极性的提高,导致医院整体效率
学位
起重机是工业生产中的重要设备,塔式起重机是建筑行业内使用最为广泛的起重机。随着控制技术的不断进步,起重机逐渐向自动化、智能化的方向发展。起重机的起重路径规划是研究的重点之一,智能化的起重路径规划算法能够提高起重效率,减少安全事故的发生。现有的塔式起重机路径规划算法,大多需要精确的环境信息。在建筑工地上,障碍物位置移动的现象经常发生,传统的规划算法需要进行重规划,规划出新的可行路径。但重规划的时间长
学位