论文部分内容阅读
情感计算是人机接口领域重要的研究方向之一。由于情感表达方式的不同,学术界在情感计算研究领域的有很多研究类型,包括声音传递、面部表情、行为动作等诸多方向。但是目前在情感与自主神经系统反应之间生理机制的研究上还有许多需要改进的地方。之所以需要从自主神经系统反应的角度上考虑问题,是因为多数情感表达形式都能够在一定程度上被有意或无意的自我调整所改变,这种自我调整会对情感的真实捕捉造成很大的困难。而自主神经系统反应,如心跳反应、呼吸反应等,是由自主神经系统活动产生,无法被有意控制,这也就为基于多生理信号的情感计算研究奠定了基础。本论文主要针对自主神经系统反应下的心电信号、呼吸信号和皮肤电信号在情感计算上的应用进行研究,对从情感捕捉到情感模型建立的整体流程进行了全面的叙述和论证。为了能够采集一定情感状态下的生理信号,本文设计了情感诱发素材采集和情感生理信号采集这两个必要的素材和信号采集实验,并根据实验的设计流程采集了一套多人的基于动态图片及音乐复合素材的情感数据库,确定了效价和唤醒度的二维情感描述方式,并对生理情感数据库中的信号进行了标注。同时针对现有的生理信号表达不够直观、基于多生理信号进行情感计算的可行性论证等问题,本文提出了一种基于多生理信号融合转换的生理音乐概念,将预处理后的多生理信号通过MIDI格式进行编码,将多生理信号的相关特征转换为音乐表达的形式,并设计评估实验对转换结果进行了验证,用实验的方式证明生理音乐这种形式在情感计算和多生理信号融合上的有效性。在对基于多生理情感计算的有效性进行论证后,本文从信号特征提取、特征预处理、特征选择和情感建模四个方面完善了情感计算的最终可用模型。本文依据每种信号的特点提取了不同生理信号在生理意义下的特征保证了对特征的有效性解释。并使用随机森林算法作为特征选择方法,基于不同特征对情感标签的重要性,对特征进行了排序并选择出了一定数量的有效特征。为验证特征选择结果,本文使用线性判别模型对经过特征选择的有效特征进行建模,并对效价和唤醒度各自的识别情况进行了可视化分析的分析。实验结果证明,使用随机森林加线性判别分析模型相比于其他模型更加高效,且对于效价和唤醒度的识别率比较高。本文对于多生理的情感计算方式的研究,可以为后续研究的展开提供参考和为实验操作提供依据。