视、听、触等感觉通道是人类从外界获取信息的主要途径,它们对人类学习、记忆起着极其重要的作用,且各自分工、相互合作地实现人类信息的获取。与视觉、听觉相关的图像、音乐中蕴含着丰富的情感语义,如何提取、表示以及在多种语义信息相干下如何影响人类认知是当前计算机领域的前沿问题。本文以探索何种情况下情感语义相干能有效促进或增强人类记忆效果为切入点展开研究,内容涉及心理学、认知科学、音乐及图像处理等学科的相关知识。具体来说,本文针对视听觉情感语义、情感语义相干以及它们对认知记忆的影响与应用等方面进行了如下探索：1、建立了情感语义表示模型,探索了情感语义相关机理。在研究情感语义的基础上,通过形容词辨识实验建立描述情感语义的语言值集,借助自然语言处理中的语言值计算模型及模糊语义相似关系建立了情感语义表示模型；通过语义认知实验获得情感空间和情感矩阵的具体形式,定义语言值系统的语法与推理机制来研究情感语义的相干,并通过情感语义相干性实验证明此模型符合情感语义认知的心理模式,具有广泛的适用性。2、基于特征融合建立了视觉情感语义提取算法。通过提取图像的颜色、纹理和形状特征,提出一种加权特征融合算法以更好地表达情感语义,并在图像情感语义识别映射过程中,用同一种映射算法跟单独特征的映射进行比较,证明加权特征融合算法的有效性。3、基于SVM建立了听觉情感语义识别算法。对音乐特征的提取,采用易于解析的MIDI文件,提出一系列高层特征提取算法：基于音程统计法和SVM算法来定位主音轨,基于音调无关编码方式和字符比对的二列比较法提取主旋律。对音乐情感语义的映射,提出一种基于改进PSO算法的SVM选择性集成学习算法,通过对SVM和SVM集成学习算法比较、SVM集成学习算法和BP神经网络算法的比较,证明本算法可以有效的应用于音乐情感语义的识别中。4、结合实际应用场景,探索了视听觉情感语义相关对认知记忆效果影响的机理。通过认知心理学实验研究不同视听觉情感语义相干对认知记忆效果的影响规律,并将其应用于煤矿救护游戏式培训系统中,以促进和提升安全救援人员的学习记忆效率。