基于深度学习的驾驶员眼动识别和分析研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zasakura
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着各国机动车保有量迅速增长,人们在享受交通便利的同时也遭遇着交通事故的烦恼。事故的发生由多种因素造成,但驾驶员作为承载交通安全的主体,其行为是影响道路安全的主要因素,因此准确且迅速的识别驾驶员的行为是保证驾驶安全的前提。传统的驾驶员行为检测系统因为驾驶场景的多样性和不确定性,整体识别准确率不高。基于深度学习的智能辅助系统能拓展驾驶员对环境感知的能力,具有巨大社会效益和现实意义。目前针对驾驶员行为的研究大多侧重于利用驾驶员的图像和视频客观的对其行为进行识别,而驾驶员的主观心理行为对其感知驾驶环境起着非常重要的作用,但鲜有工作是从驾驶员的主观心理出发来判断其行为。眼动仪是研究人类视觉认知的主要工具,它可以记录驾驶员的眼动数据,通过分析注视点等信息可以了解驾驶员的注意机制和视觉认知模式,进而对其行为进行合理的预测和判断。鉴于此,本文主要对以下内容进行研究。针对现有行为识别方法主要通过捕获帧间运动信息融合空间信息实现动态场景下的行为识别,而驾驶行为大多持续时间短且变化剧烈,难以获得鲁棒的帧间信息的问题。提出了一种基于人类视觉皮层双通路的驾驶员眼动行为识别模型。本方法通过模拟人类视觉皮层双通路的视觉机制提高了驾驶员眼动行为的识别能力。此外加入了自适应最大池化降低输入分辨率以更好地获取时间信息。最后设计两通道的权重控制,融合时间与空间特征。实验结果验证了所提算法的有效性。针对现有视频注视点预测方法主要通过堆叠三维卷积块和长短期记忆网络来提升时空特征提取能力,但存在难以获得全局运动特征并遗忘远期信息的问题。提出了一种基于Transformer的驾驶员注视点预测模型。本算法首先利用光照修正模块,通过均衡帧间与帧内的亮度,减少了过曝和欠曝对预测结果的影响。然后将空间注意力扩展至时间维度得到了时-空间注意力机制,更好地提取视频序列的全局与局部特征。最后针对现有的注视点预测中评价准则只能评价多个注视点与真值图的相对距离与分布,而驾驶员眼动行为不存在多个注视区域的问题,基于此,我们重新设计了评价准测,即中心评价准则。通过新的评价准则,更能精确评价驾驶员单个眼动注视预测区域与真值区域间的距离关系。实验结果表明,该算法优于最新注视点预测算法,并有较好的视觉结果。现有的驾驶员眼动数据大多采集于汽车模拟机或者封闭路段,这些数据在一定程度上忽略了真实环境对驾驶员视觉注意力的影响。另外,针对目前没有驾驶员眼动数据相关分析软件的问题,本文构建了驾驶员眼动视频数据集并搭建了数据分析软件平台。本文构建的基于真实道路的驾驶员眼动行为视频数据库VIPDAR_5包含来源于15名被试的5类驾驶行为眼动视频数据,共350段视频片段。同时考虑到数据多样性,在多种不同的场景、天气和时间进行眼动数据录制。进一步的,本文设计了一个基于Py Qt的驾驶员眼动数据分析软件平台。该平台可以实现驾驶员眼动数据的查询、标注和分析,提高了眼动数据的处理效率。
其他文献
目前,在疫情隔离、安防监控和自动驾驶等广泛应用的嵌入式视觉场景中,已获得成熟应用的成像传感器主要有摄像头和LiDAR等。其中LiDAR具有测量结果准确、抗干扰能力强等优点,但是在目标识别方面仍存在不足。而光学摄像头借助深度学习的不断发展,在目标识别上具有较高的准确度,但是容易受到光照、天气等环境影响。因此,在各种资源均受到限制的嵌入式平台下,如何将光学摄像头与LiDAR获取的图像信息进行融合来避免
学位
随着深度学习的飞速发展,深度神经网络在计算机视觉、自然语言处理、推荐系统、交通规划和时序预测等领域取得了令人瞩目的成绩,渗透到生活的方方面面。深度学习使用神经网络堆叠的方式对海量数据进行处理,具有参数量大和计算复杂度高的特点。一方面,神经网络被设计的愈发复杂与庞大以取得更高的精度,对设备的算力和内存要求越来越高;另一方面,应用领域的拓展使在低算力低内存的边缘设备部署神经网络的需求愈发迫切。为解决这
学位
线粒体是细胞内最重要的细胞器之一,其不仅是真核生物进行氧化代谢为细胞提供化学能量的重要场所,还是细胞分裂、分化、凋亡和细胞内信息传递等生理过程的重要参与者。在临床上,一系列疾病都与细胞内线粒体的数量、大小和结构有着密不可分的关系,获取细胞内线粒体的数量、位置、大小和形状对病情诊断、病因溯源和治疗方案的确定有着巨大的帮助。因此,设计具有足够精度的线粒体实例分割算法对临床和生物学领域都有着重要意义。然
学位
在现代空对地作战中,大多采用高、中、低空相结合的多层次、多样式的饱和攻击,地面防空作战将面对严峻的考验。对于地面指挥决策系统而言,一方面要处理复杂多样的敌方信息,另一方面要及时准确地做出相应的对策防御敌方的攻击。为了取得防空作战的主动权,战场的信息融合就显得尤为重要,而威胁评估作为信息融合的关键环节,针对敌方意图和能力的评估可以辅助地面指挥员做出合理的决策,提前构建有效的防御。本文主要以防空作战为
学位
随着现代电子技术的飞速发展,高速高密度的PCB设计越来越多,PCB设计面临的信号完整性问题也愈发严重。高速接口的设计是PCB设计中非常关键的一环,为了保证高速信号的质量必须对高速接口的设计规则进行检查,工程师使用主流EDA工具本身的审查功能只能实现简单的电气规则审查,无法满足实际需求。虽然有些企业和科研机构使用EDA工具中提供的接口函数开发插件以实现自定义审查功能,但是严重受限于设计工具,工具升级
学位
数字化技术在公路路面施工中的应用有助于制定严格、规范、科学、定量的施工管理模式,实现对路面施工全过程的精准把控。论文在对数字化技术进行概述的基础上,分析了数字化技术在公路路面施工中的应用优势。依托路面施工相关参数的收集、利用与管理,立足路面透层试验、沥青改性、混合料运输、路面摊铺与压实等环节,分别探讨了数字化技术的应用场景与应用要点,
期刊
随着便携式电子产品的飞速发展,使得电源管理芯片广泛应用于低压大负载的环境中。本文以低压大负载的应用市场出发,基于非隔离式降压型直流转换器的基本原理,结合关键的补偿技术和自适应死区技术的研究,设计了一款带自适应死区控制的高效电压模降压型DC-DC变换器。本文首先介绍了降压型变换器的拓扑结构,对比分析了常见的几种调制模式,最终选择了电压模控制的变换器。结合芯片的具体定位和指标分析计算了片外拓扑元件的具
学位
目前,图像和视频代替了文本成为了人们日常获取信息的主流途径。随着各种高清智能设备的日渐普及,在科学研究和日常生活中,人们对图像分辨率的要求逐渐提高。从硬件的角度出发去提高图像分辨率成本过高,并且存在着难以解决的技术瓶颈,因此从软件角度出发的图像超分辨率重建技术成为了当下研究的主流。超分辨率重建方法对已有的低分辨图像进行处理,重构出我们所需要的高分辨率图像,在安防监控、医学影像、高清显示等领域均有重
学位
滚动轴承是旋转机械的重要组成部件,在高铁、航空发动机以及燃气轮机等工业关键领域,轴承往往工作于高温、高速、重载的严苛工况下,容易在其多个组件上发生复合故障,早期微弱复合故障的及时诊断对确保旋转机械安全具有重要意义。由于滚动轴承一般安装于机械系统内部的核心位置,采集轴承振动信号的各类传感器无法直接布置在轴承组成部件上,因此采集到的信号通常为机械系统中多个源的混合信号,难以直接分析判断轴承故障类型。为
学位
随着信息技术的发展,视频逐渐成为人们获取信息、传播信息的主要方式,而视觉目标跟踪作为视频自动化处理的重要研究内容,有着广泛的应用前景。基于孪生网络的视觉目标跟踪算法的提出,给视觉目标跟踪领域创立了一个可以兼顾跟踪精度与速度并且模型结构简洁清晰的范式。很多学者对孪生网络跟踪算法进行了研究与改进,孪生网络跟踪器的性能得以不断提升。但是面对视觉目标跟踪中复杂的场景与多样的挑战,孪生网络跟踪器的性能还有很
学位