在人与自然,人与人的交流中,音频信号起了传递信号,表达信息的作用。不同情感的音频信号可能引发受众的不同体验,人类情感和表达不同情感的音频之间有什么量化关系,音乐厂商,唱片公司极其关注这个问题,他们期望以此获得唱片发行的成功或者对音乐、歌曲的发行作提前的预期避免损失;同时,探究人类情感,进行情感计算,也是进行人机交互,实现人工智能的一个热点。脑电信号,作为人类的一个典型生物信号,包含有大量的情感信息,能更客观的表示人类的情绪变化。近年来,随着对脑科学研究的不断深入,脑电信号的提取更加方便快捷,对脑电信号情绪特征的研究也引起了广大学者的兴趣。在此背景下,本研究广泛提取了不同情感音频信号及由其引发的脑电信号的典型特征,并利用特征提取,数据分析,机器学习等理论和方法,对不同情感的音频信号、以及由其引起的不同受众的脑电信号进行了量化分析,并对两者关联性作了评价。具体内容如下:(1)对语音情感方面,使用中科院的CASIA数据库;在音乐情感方面,利用T检验标注80首不同情绪(愤怒,喜悦,悲伤,平静)的音乐。提取语音信号的典型64维特征,同时利用Mirtoolbox工具箱提取音乐信号时域的均方差、波形、谱特征、音色、语调等特征的均值、方差、斜率、周期频率、周期振幅、周期熵、峰值、质心等138个统计特征。利用多种降维方法对上述特征降维,利用多种分类器识别验证上述降维前后的特征,结果证明了提取的语音信号的10维特征向量以及音乐信号的8维特征向量具有一定的普适性。(2)采集了8位大学生受众在听不同情绪音乐时的脑电信号,得到15组实验数据,提取12个电极脑电信号的线性特征和非线性特征,共计27维特征。然后,基于相关的特征选择(CFS)的方法选择与原始特征最密切相关但最小冗余的特征集。利用不同分类器检验原始特征集和所选特征集的识别率和召回率。最后,针对实验结果进行了详细的分析,得到对音乐情绪最具代表性的脑电特征并加以验证。(3)结合音频信号和脑电信号选择的最优特征,联合分析音乐信号特征和由其引起的脑电信号特征。最后选择20维的原音乐-脑电联合特征,GA+CFS降维后的6维特征,分别用BP,SVM,C4.5,LDA分类器对其进行识别验证。实验结果证明,经过GA+CFS降维的特征可以很好的对脑电情绪进行分类。在分类器性能上,LDA分类器或C4.5分类器比较优秀。其中BP分类器识别率皆在80%以上,但BP分类器在实际应用中受网络训练次数限制,建模速度较慢。(4)利用LabVIEW平台强大的可视化图形处理功能,同时利用Matlab节点进行数据计算,设计了一个情感识别系统,用于语音和音乐情感识别。