论文部分内容阅读
当代信息科学技术的飞速发展使得人类对计算机的依赖程度不断增强,人机交互能力越来越受到研究者的重视。如何实现计算机的拟人化,使其能够感知周围环境、气氛、对象的态度、情感等内容,适时做出响应与并与用户进行和谐的情感交流,已成为“人机情感交互”领域研究的一个热点课题。让计算机具有人类情感,首先就是要使计算机能够理解人的情感状态,并改善计算机识别情感状态的能力,也就是进行情感计算。情感识别是情感计算的一个关键问题,是建立和谐人机环境的基础之一。情感计算是当前新兴的课题之一,它是关于情感方面的计算,目的是赋予计算机识别、理解、表达和适应人情感的能力。情感识别是情感计算的一个重要组成部分,情感识别研究的内容包括面部表情、语音、姿势、文本和生理信号识别等方面。生理信号是伴随着的情感变化由人体内部器官产生的生物电信号,更能客观真实的反映出当时的情感状态。Ekman等人通过所做的一系列实验得出的结论表明,至少对某些情感来说,其生理反应是特异的,Picard教授带领的MIT媒体实验小组证明应用生理信号对情感识别的方法是可行的,因而为生理信号情感识别的进一步研究提供了可靠的理论支撑。在情感状态识别中,大量无关或冗余的特征往往会影响识别的速度和准确率,因此需要特征选择。特征选择问题实质上是组合优化问题,虽然有一些学者提出了许多搜索算法,但是到目前为止还没有公认有效的搜索算法。双重结构粒子群(Dual-Structure ParticleSwarm Optimization,DSPSO)算法是一种基于群智能的全局优化算法,其独特的结构使得连续粒子群可以用于解决组合优化问题,且具有编码简单、个体数目少、计算速度快、种群多样性好、易于理解、易于实现等特点。因此,论文研究将DSPSO算法应用于情感生理信号的特征选择问题,以提高情感状态的识别率。在特征搜索过程中需要对所选特征组合进行评价,评价过程是一次分类识别的过程。由于K近邻(K-Nearest Neighbors,KNN)分类算法快捷高效,在需要多次调用分类识别的特征搜索过程中,KNN有其独特的优势。因此,论文研究将KNN分类识别算法作为特征搜索过程中的评价函数,以提高计算速度。本文首先以德国奥格斯堡大学多媒体与信号处理实验室的数据为例(四种情感状态(高兴(Joy)、愤怒(Anger)、悲伤(Sadness)、愉悦(Pleasure))下的四种生理信号(肌电(Electromyogram,EMG)、皮肤电(Skin Conductivity,SC)、心电(Electrocardiogram,ECG)、呼吸(Respiration,RSP))),对基于生理信号情感识别进行了研究,针对德国数据本文主要做了以下四方面的工作:(1)针对生理信号情感识别中的特征冗余问题,研究将计算智能的思想引入到情感生理信号的特征选择中,以期证明能否提高情感状态的正确识别率。采用DSPSO-KNN方法进行情感生理信号的特征选择,使用单一生理信号以及多种生理信号对单一情感以及多种情感进行了识别研究。(2)针对DSPSO-KNN在原始特征维数较多时效果不好的情况,利用基于混沌变异小生境多种群的DSPSO-KNN进行情感生理信号的特征选择,以改善高维的特征选择效果。对单一生理信号识别单一情感及多种情感进行了研究,同时,在单一生理信号的基础上,研究了多种生理信号识别单一情感及多种情感。(3)针对研究过程中出现多类识别时的不可分类现象,本文提出了增量K的KNN多类识别算法;由于在算法趋近于收敛时会出现大量的重复粒子,本文将查找表方法应用到搜索过程中以期减少不必要的计算。(4)为了体现论文方法的优越性,采用DSPSO-KNN和传统的顺序浮动前向搜索(Sequential Floating Forward Selection,SFFS)和顺序浮动后向搜索(Sequential FloatingBackword Selection,SFBS)特征选择方法进行情感状态识别的效果对比。为了进一步开展研究工作,我们测试了391名在校大学生(两种情感状态(高兴(Joy)和悲伤(Sadness))下的心电信号(ECG)),并使用效果较好的150个样本进行识别研究,做了以下工作:对测得的心电数据预处理后,运用小波变换进行P-QRS-T波定位后提取统计特征,采用提取的特征进行特征选择以及情感识别。论文通过大量仿真实验证实了上述工作的正确性,取得了如下几方面的研究成果:(1)从四种生理信号中提取了193个原始特征,采用DSPSO-KNN方法进行特征选择。单一生理信号中,肌电信号识别四种情感效果最好,达到83%;皮肤电信号识别效果最差,只有51%;四种生理信号识别四种情感得到了93%。(2)通过仿真实验得知:在特征维数较少时,改进的DSPSO-KNN没有优势,但是特征维数较多时,改进的DSPSO-KNN效果明显更好。比如肌电信号和皮肤电信号的原始特征维数为21个,改进前后两者的识别率基本一样;而心电信号原始特征维数为84个,改进前最好识别率为69%,改进后最好识别率为73%。通过对DSPSO-KNN特征选择的统计发现一些特征确实在识别某些情感时有特殊的贡献,其中肌电信号的二阶差分中值不论是在单一信号还是多个信号识别愉悦时几乎都是百分之百被选中。(3)增量K的KNN多类分类算法不仅解决了不可分现象,而且识别率得到了提高,比如肌电信号识别四种情感时识别率为83%,而传统的两种方法分别为79.4%和80%;采用查找表方法后,以肌电信号识别四种情感为例,固定迭代200代,由原来的75.54秒减少到15.21秒。(4)采用四种生理信号识别四种情感状态时,SFFS的最好识别率为93%,33个特征,SFBS的最好识别率为92%,23个特征,改进后的DSPSO-KNN最好识别率为93%,12个特征。(5)通过实验室自测的ECG信号对高兴和悲伤两种情感进行了识别研究,ECG信号识别高兴和悲伤的最优特征组合包含7个特征,识别率达到87.33%。通过本文的研究可以看出,DSPSO和KNN结合的方法(DSPSO-KNN)是一种较好的情感生理信号特征选择方法,通过使用该方法可以有效的提高情感状态识别率以及降低计算量,为以后情感识别的实际应用奠定理论基础。