情感识别能够帮助机器捕获人类的情感状态,是人机交互及实现人工智能不可或缺的技术。通常,人类的情感可以通过生理信号或非生理信号表达出来。非生理信号,例如表情、语音和动作,是进行人类情感识别比较常见且方便采集的信号,进而被广泛应用。生理信号,例如脑电、心电和皮肤电,更能反应人类的真实情感状态,难以进行伪装。因此,很多基于生理信号的情感识别被应用于测谎、抑郁症检测等。本文主要围绕有关生理和非生理信号的情感识别,分别开展基于图神经网络算法的脑电情感识别和人脸运动单元识别研究。针对（1）如何表示脑电通道间的内在联系并准确获取情感信息以及（2）如何表示人脸运动单元的空间语义关联及时间依赖关系,提出了一系列具有较好性能的图神经网络方法。具体来讲,本文主要创新成果包括以下四个方面:1.针对脑电通道信号之间图依赖关系难以通过现有先验知识表示的问题,提出一种基于动态图卷积神经网络（Dynamical Graph Convolutional Neural Network,DGCNN）的脑电情感识别方法。现有脑网络的研究无法准确定义各个脑电通道之间的关系,不能直接在图卷积神经网络中构建有效的图结构以表示脑电通道之间的内在关系。通过端到端（End to End）的方式,根据神经网络损失函数进行梯度优化,动态探索不同脑电通道之间的内在关系,并首次将图卷积神经网络用于脑电情感识别。实验结果表明,通过优化生成的图结构能更有效的表示脑电通道之间的关系以获得更好的识别性能。2.针对脑电信号存在的个体差异和在不同情感状态下脑网络功能连接的差异,提出了一种基于样本自适应图卷积神经网络（Instance-Adaptive Graph Convolutional Network,IAG）的脑电情感识别方法,能有效减小脑电信号差异性影响。该方法和工作1的区别在于,对于不同的样本,该方法能自适应的调整脑电通道之间的连接关系,能够更精确的考虑个体差异以及在不同情感状态下脑网络连接状态的差异。同时,为了缓解噪声对脑电信号的影响,提出变分样本自适应图卷积神经网络（Variational Instance-Adaptive Graph Convolutional Neural Network,V-IAG）,用概率模型表示图的连接关系提取更加鲁棒的深度特征,提高了模型的泛化能力。3.针对人脸运动单元不同个体及不同表情下的多样性关系,提出了一种基于模型性能图结构的混合信息传播网络（Hybrid Message Passing Neural Network with Performance-Driven Structures,HMP-PS）进行人脸运动单元检测,获得更好的图结构和图节点信息以及更有效的信息传递方式来表示人脸运动单元之间的依赖关系。具体地,提出一种基于模型性能的马尔可夫链蒙特卡洛（Performance-Driven Markov Chain Monte Carlo Sampling,P-MCMC）采样方法,利用更有效的图结构表示人脸运动单元之间的关系。同时,提出了一种混合信息传播（Hybrid Message Passing,HMP）的图信息传播方式,更灵活的表示人脸运动单元之间关系的多样性,从而取得更好的人脸运动单元检测结果。4.针对人脸运动单元间的空间及时间关联表示,提出了一种基于动态概率图卷积神经网络（Dynamic Probabilistic Graph Convolutional Neural Network,DPGCN）的人脸运动单元强度估计方法。在空间上,通过引入贝叶斯网络（Bayesian Network,BN）表示人脸运动单元之间语义层面的关系,并且通过马尔可夫链蒙特卡洛（Markov Chain Monte Carlo Sampling,MCMC）采样的方式估计了表示人脸运动单元之间关系图的后验概率分布,从而实现了概率图卷积。在时间上,用长短时记忆网络表示人脸运动单元之间前后的动态关系。该模型以一种概率的结合方式更好的表示人脸运动单元的时间和空间关系,缓解了图过拟合的表示并能够取得更好的实验结果。