随着社会的高速发展,当今的人机交互方式已经不满足于鼠标键盘这种纯逻辑交互方式来使机器理解和接受人的指令。我们更希望机器能像人一样去理解各种情感特征并作出相应的反应,这就要求为机器加入情感识别功能。目前,单模态的情感识别或单一生物信号的融合情感识别都已经取得了很大的进步。如单模态的皮肤电情感识别或融合皮肤电、脉搏、脑电等的情感识别都已经取得重大的成果。但是作为不同类型的情感识别融合还鲜有人关注。其中文本信息作为人类最常用的交流手段之一,其本身蕴藏着丰富的情感资源,但是通过文本信息识别情感有着天然的缺陷,它主观性强,往往人们可以隐藏自己的情绪。皮肤电信号作为生理参数只受自主神经系统和内分泌系统的分配,不受人的主观控制,这样就防止了人为的“作假”,而且它相比其他生理参数更易于采集。本文提出的双模态情感识别是将文本信息与皮肤电信号进行融合,双模态融合的情感识别本身就丰富了情感信息,再加上来源不同类型的情感信号很好的弥补了同一生物信号融合的局限性,大大提高了情感识别的准确率。首先对文本信息进行预处理,包括规范编码、去噪、分词和词性标注、语法分析,然后对其进行特征提取就。其次,利用体感传感器采集实验人的皮肤电参数,建立生理信号数据库,然后对采集到的皮肤电参数进行去噪处理,提取28个统计特征值,将数据进行归一化处理。然后通过对皮肤电特征参数和文本信息的情感关键词特征参数提取并对其进行优化,分别设计支持向量机算法和遗传算法优化的人工神经网络算法作为单个模态的情感分类器。最后准备好双模态情感识别实验下需要的样本数据和数据库,利用排序式选举算法优化的高斯混合模型对判决层进行加权融合,完成测试并与两个单模态情感识别进行比较。实验表明,情感识别的准确率显著提高。