因情绪对驾驶行为及安全的影响,情绪识别逐渐成为驾驶员状态研究的一个热门方向。但驾驶环境的复杂性及驾驶员个体的差异性,使得驾驶员情绪识别存在鲁棒性差、识别精度不高等问题。考虑乘用车驾驶员相对固定且身份识别技术已相对成熟,而驾驶员个体数据获取容易但标注困难的情况,本文首先利用公共情绪数据集构建多模态情绪识别通用模型,进一步采集驾驶员个体情绪数据,建立基于无标签数据学习的驾驶员个性化情绪识别模型,并通过3位驾驶员的情绪数据验证了本文提出的方法的有效性,最后基于以上研究构建了个性化驾驶员情绪识别系统。具体研究内容如下:1)分析脑电、心电生理信号特性、信号处理过程及情绪相关特征的提取方法,并从MAHNOB-HCI公共情绪数据集中提取包含脑电、心电和面部表情三个模态的情绪数据样本。进一步提取每组样本脑电、心电生理信号手工特征及面部表情深度特征,构建多模态情绪识别通用模型。2)通过模拟驾驶实验,以情绪引导的方式,采集3位驾驶员积极、中性和消极情绪状态下的脑电、心电及面部表情信号数据,得到三种情绪状态各9000组包含脑电、心电及面部表情的多模态情绪数据样本,并通过聚类分析验证数据的可靠性。3)基于通用识别模型,构建面向驾驶员个体的跨域识别模型,并预测、标注驾驶员个体情绪数据的伪标签;然后运用加权聚类方法为驾驶员个体无标签情绪数据标注聚类标签;进一步综合伪标签、聚类标签结果,筛选高置信度标签的驾驶员个体情绪数据,用于训练面向驾驶员个体的个性化识别模型,并持续循环以上过程,不断优化模型;最后,分别比较3位驾驶员各个循环阶段的优化模型、通用识别模型的输出结果,验证本文提出方法的有效性。4)利用终端生理信号采集设备和面部表情采集摄像头,采集并实时显示驾驶员情绪数据;并通过部署在终端的情绪识别模型,实时输出驾驶员当前情绪状态。下一步,将联合云端部署实现驾驶员个性化识别系统的持续优化。