情感计算希望通过赋予计算机类似于人脑一样的识别、理解情感以及生成各种情感特征的能力,使计算机能够像人一样的进行亲切、自然和生动的交互。但是我们目前对人类情感的理解非常少,因此通过认知神经科学探究人脑进行情感认知时的神经机制,对情感计算的发展具有重要的意义。情感可以通过面部,身体和全身来表达,而先前在视觉刺激层面对情感抽象表征机制的研究只关注面部和身体表达的情感。在特定脑区中情感是否可以忽略这三种情感载体而被表征仍是未知的。本文使用功能磁共振成像技术来采集被试分类面部、身体和全身情绪(生气,害怕和高兴)时的脑活动信号。全脑表征相似性分析结果显示左侧中央后回,左下顶叶和右颞上沟中存在和特定情绪相关但和刺激类别无关的神经表征。进一步的跨模态分类结果表明,只有左侧中央后回可以跨模态的显著区分三种情绪以及正负性情绪。这些结果表明,基本情绪的跨模态表征在左侧中央后回中可以从面部和身体情绪的表征延伸到全身情绪的表征。情感还可以通过听觉刺激来表达,但是视听觉模态可能包含不同类型的刺激(面部,身体,声音或音乐等)。本文进一步探索了在视听觉模态内,情感的价态是否可以被跨模态表征,并且不受模态内不同类型的刺激的影响。情感价态被分解为三个级别:正性,中性和负性。我们采集了被试分类面部、身体、声音和音乐表达的情感价态时的脑活动信号。基于探照灯的模式相关分析揭示了双侧中央后回,颞中回和额中回这些脑区中包含价态的表征。跨模态交叉分类发现左侧中央后回和颞中回可以成功的跨模态分类出三种价态。并且单变量分析证实在这两个脑区中,不同模态之间没有价态特异性的激活差异。这些发现扩展了之前关于情感价态表征的结果,表明这两个脑区不仅可以跨模态的表征情感的价态信息,并且不受视听觉模态内不同类型的刺激的影响。