随着我国经济的快速发展,人民生活水平不断提高,人们的日常出行也因为家用车辆与公共车辆的大幅增加而变得更加便利,与此同时,快节奏的生活所带来的压力以及复杂的交通状况极易导致驾驶员路怒情绪的产生,进而引发“路怒症”,严重妨碍着驾驶员及他人的生命财产安全。当前对驾驶员路怒情绪的研究主要集中在四个方面,包括驾驶员路怒情绪的产生机理和影响因素、驾驶员愤怒驾驶时的行为表现、驾驶员愤怒驾驶对交通安全的影响以及驾驶员驾驶过程中的路怒情绪的识别。其中,对于驾驶员的路怒情绪识别,其研究方法包括访谈、调查问卷等主观调查法以及通过采集驾驶员生理信号和图像信息的客观分析法,前者直接、简单,但易受驾驶员主观因素的影响且具有时间滞后性,后者客观、真实、具有实时性,但存在信息源单一、识别率达不到实际应用标准的缺陷。针对驾驶员路怒情绪识别领域存在的不足,本文在已有研究的基础上,结合图像处理、生理信号处理以及深度学习的相关算法,提出了一种基于信息融合的驾驶员路怒情绪识别方法。该方法首先对驾驶员的面部图像进行人脸特征提取,并基于进化算法对特征寻优,再从脉搏信号中提取时域和频域的线性特征与非线性特征,综合两路信息的特征,融合构建特征向量,并基于卷积神经网络(CNN)算法对驾驶员的路怒情绪进行识别。本文的主要研究内容与成果如下:(1)设计了完整的驾驶员路怒情绪激发实验,对实验被试进行原始数据采集工作。在考虑诸多实验过程中可能出现的问题后,搭建了数据采集实验平台,营造了自然真实的模拟驾驶环境,选用可靠的信息采集设备,包括摄像头和脉搏传感器,选取实验素材和被试对象,按照实验步骤,采集了 60名被试的面部图像信息和脉搏信号。(2)基于小波变换理论和对脉搏信号进行预处理,并分别提取了线性特征和非线性特征。首先基于小波变换对原始脉搏信号进行了滤波、去噪预处理,然后对脉搏信号进行解析与重构,并对其特征点(包括起点和峰值点)进行识别。其次,基于特征点提取了 7种时间序列,最后基于每种时间序列分别提取了时域、频域上的8种线性特征,以及3种非线性特征。(3)基于肤色空间方法实现了人脸区域识别,并基于卷积神经网络提取了人脸特征。首先对采集到的面部图像视频进行了预处理,提取关键帧,形成原始图像数据集,然后基于肤色分割对人脸区域进行了识别与裁切,在对裁切后的图像进行预处理之后,设计卷积神经网络的卷积层结构,确定卷积层参数,最后对面部图像进行了人脸特征提取。(4)基于进化算法对人脸特征寻优,并与脉搏特征进行融合,实现了基于信息融合的路怒情绪识别。基于进化算法对通过卷积层提取出的人脸特征作寻优处理,然后与提取到的脉搏信息特征进行融合,最后基于Softmax分类器与融合后的特征矩阵对驾驶员进行了路怒情绪识别,其最终识别率达到88.25%。