情绪识别是人机交互的重要部分,在远程教育、医疗保健、人机交互等多领域均有广泛的应用前景。生命体征信号具有客观、不易伪装等优点,逐渐成为情绪识别研究的热点。现有的基于生命体征信号的情绪识别系统大多基于接触式传感器,给受试者带来了不适。而现有的基于生命体征信号的非接触式情绪识别系统,则存在基于单传感器的识别准确率差的问题。本文针对上述问题,提出了一种基于雷达和视频传感器的非接触式双模态情绪识别系统,该系统可根据各传感器优势进行信号优化,实现情绪的高准确率识别。1、介绍非接触式双模态情绪识别系统构成及工作原理,对基于连续波雷达传感器获取的人体呼吸信号和心跳信号以及基于视频传感器获取的人体心跳信号进行分析和验证。2、针对光强弱环境下的视频心跳信号检测性能差的问题,提出了基于光强的心跳信号优化算法,该算法可在不同光强下选取准确度更高的心跳信号来源,有效提高了弱光强环境下的心跳信号准确率;针对雷达获取生命体征信号易受体动影响的问题,提出了基于视频光流信号的体动检测算法,该算法可有效检出体动信号,消除体动对雷达体征信号获取的影响。3、对优化后获得的呼吸和心跳信号,进行时域、频域、非线性以及几何特征提取,并设计了双模态的特征级与决策级数据融合模型,结合机器学习算法对情绪进行分类。4、设计情绪识别实验,采集受试者在高兴、悲伤、平静、恐惧四种情绪状态下的生理信号,进行单传感器、优化算法及融合算法的人体实测实验。实验结果表明,单雷达传感器情绪识别准确率为73.7%,单视频传感器情绪识别准确率为54.8%,优化算法处理后雷达模块识别准确率为78.6%,视频模块为66%,经过融合算法后,决策级识别准确率为81.4%,特征级识别准确率为82.8%。