音乐是情感的语言和艺术,情感是音乐的本质特征。但是迄今为止,人们感知音乐情感的主要方式仍然是凭借听觉,不能通过有效的方法去“看”音乐、“触摸”音乐,即不能通过“听觉、视觉和触觉”的多种感知模式交互体验音乐的情感。因此,本课题交叉、融和音乐学、认知心理学、心理物理学、多媒体技术、信号处理、模式识别与智能控制、虚拟现实和仪器科学等学科知识,以提高音乐情感识别率和基于“听-视-触觉”增强感知音乐的沉浸感为切入点,研究了音乐情感特征的提取与识别技术;设计了“热触觉感知与复现”实验装置和“可视音乐感知”实验装置,系统地开展了人手指热触觉感知、基于“听-视觉”的音乐感知、基于“听-热触觉”的音乐感知和基于“听-视-热触觉”多模式交互的音乐感知等方面的心理物理实验研究。论文的主要创新点在于把热触觉用于音乐感知,通过一系列心理物理实验,从技术层面确定了一种能够产生强烈沉浸感的可视音乐的表现形式,提出了一种“热触觉辅助感知音乐”的设计方案,以及基于“听-视-热触觉”多通道交互感知音乐的设计方案。通过本课题的研究,为今后设计基于“听-视-热触觉”多通道交互感知音乐的接口与装置提供了理论基础和技术支持。论文的主要研究工作和取得的进展如下:(1)基于“效价-激励”情感模型,把音乐情感建模视为一个由情感效价值和激励值确定的一个连续变量;提取音乐的能量、韵律、和声、时域和频谱等特征,并通过主成分分析空间投影和Relief特征选择的方法对音乐特征空间降维;应用多元自适应回归样条法、支持向量回归、径向基函数回归、随机森林回归和回归神经网络等机器学习算法,分别对“效价-激励情感平面”的效价和激励值进行回归,这些算法均实现了较好的音乐情感回归,其中在Relief特征空间分别基于支持向量机回归法和随机森林回归算法实现了最优的回归结果,情感效价和激励值的R2统计值分别为29.3%和62.5%,优于已有文献报道的结果;基于支持向量机分类、K邻域分类、模糊神经网络分类、模糊K邻域分类、贝叶斯分类和Fisher线性判别等算法,对音乐情感进行了分类,其中支持向量机、模糊K邻域以及Fisher线性判别算法实现的音乐情感分类正确率都大于80%;提出了一种新算法“混合分类器”,基于该算法实现的音乐情感识别率达到84.9%。(2)基于半无限体模型的热触觉感知机理,应用嵌入式技术、模糊控制技术和虚拟仪器技术设计了 3套“热触觉感知与复现”实验装置,实验装置的控温范围在-10℃-130℃、温度分辨率和精度分别为0.01℃和±0.1℃、最大升温或降温速率大于12℃/s,能够快速、精准实现特定波形的温度输出;利用“热触觉感知与复现”装置,开展了手指热触觉感知特性实验、手指热触觉差别阈限测量实验、情感与温度的映射实验、热触觉激励情感识别实验和基于热触觉的虚拟环境材质识别实验;测量了手指冷热感知和舒适度感知的温度阈值、手指的热触觉温度差别阚限;验证了人的情感与热触觉在冷热感知和舒适度感知的量度上是一致的、和谐的和可以相互表征的关系,通过热触觉感知通道能够增强人的情感认知;实验结果进一步表明,热触觉感知与复现技术可以增强人在认知过程和情感体验中的真实感和沉浸感。(3)基于HTML5技术开发了一种“可视音乐感知实验系统”,该系统操作方便、表现形式丰富,可以满足多模式音乐感知实验的要求;基于该系统,在被试自主感知实验的基础上通过问卷调查及统计分析,探讨了不同情感类型的可视音乐表现形式,为开发“与音乐情感表达同步的可视音乐系统”提供了设计方案。(4)基于本文开发的“可视音乐感知实验系统”和“热触觉感知与复现实验装置”,按照心理物理实验规范,制定了“重复测量两个因素的四因素混合设计”和“两因素完全随机实验被试间设计”的实验方案,开展了基于“听觉和视觉”的可视音乐感知实验、基于“听觉和热触觉辅助”的音乐感觉实验和基于“听觉、视觉和热触觉”多模式交互的音乐感知实验;基于SPSS软件对实验数据进行统计分析,检验了“音乐情感类型、可视音乐动态画面的情感类型和热触觉的情感类型”作用于感知音乐情感的沉浸度的主效应,以及两者交互作用的主效应和简单效应,提出了一种基于“听-视-热触觉”多通道交互感知音乐的有效设计方案。