随着科学技术的进步和社会的飞速发展,情绪识别的研究越来越受到研究人员的关注。情绪来源于某种心理或生理过程,该过程是由某个与人的心理状态或特征相关的事件或对象所激发的。所以,情绪与人的心理健康状态息息相关。情绪识别的研究可以帮助人们管理情绪,发现潜在的心理问题并提前预防。同时随着人工智能时代的到来,情绪识别是智能机器人与人类交互中的一项关键技术。若机器人可以理解或识别人类情绪并做出适当的反应则可以更智能更人性化。情绪识别通常有主动感知和被动感知两种方式。基于主动感知的情绪识别需要依赖于昂贵的专用设备或者专门部署,代价较为昂贵;同时需要参与者的积极参与,时间成本高同时所获取的样本数据量是极其有限的。被动感知以其低成本、大规模、非侵入性等优点获得了研究人员的青睐。所以,我们采用了基于被动感知的情绪识别方式。本文将围绕基于被动感知的情绪识别机制展开研究,以两种常用的被动感知方式:在线社交网络感知和智能手机感知为脉络,通过对感知数据的处理以及机器学习模型的构建,深入探讨了基于被动感知的情绪识别的可行性,并进一步发掘了在不同被动感知方式下的情绪识别的应用场景。在基于在线社交网络被动感知的情绪识别方面,由于大多数现有工作都只考虑单一情绪检测问题而忽略了多种情绪的共存。所以,我们提出了在线社交网络中的多重情绪检测问题并将其形式化为了多标签学习的问题。同时提出一个幸福度研究的框架来量化幸福度及影响力并挖掘出高影响力的用户。在基于智能手机被动感知的情绪识别方面,尝试使用智能手机感知数据进行复合情绪检测,复合情绪指的是用户在一段时间内呈现得具有多个维度多个等级的情绪向量。同时我们还创新性地提出了智能手机传感环境中的情绪稳态检测问题并尝试提出了一个多视图分类模型解决该问题。本文的主要内容和贡献如下:首先,针对在线社交网络中用户的情绪识别问题,提出了一种基于多标签学习的用户情绪识别模型。通过对标注的Twitter数据集进行分析,发现了标签相关性、时序相关性和社交相关性,其分别指的是同个用户在相同时段不同情绪标签是相互关联的、同个用户同个情绪标签在时序上是相互关联的、不同用户在相同时段的同个情绪标签是相互关联的。为将情绪标签相关性,社交相关性和时序相关性融合到情绪识别模型中,设计了一个基于因子图的多标签学习算法解决在线社交网络中多重情绪识别问题。性能评估表明,所提出的因子图模型优于其它基准算法。其次,针对在线社交网络中用户幸福度量化及好友之间幸福度影响力的问题,提出了一个幸福度研究的统一框架。根据在线社交网络中用户的日常发布文本对其幸福度进行了定量分析,并利用个性化多元线性回归模型量化了在线社交网络中用户与其好友之间幸福度的影响力。由于每个人的影响力是不同的,我们提出了一个具有多项式时间的贪心算法来检测一组高影响力的情绪代表,检测到的情绪代表的幸福度分数可以作为特征来预测整个在线社交网络中其他用户的幸福度分数。再次,针对智能手机感知环境中的情绪识别问题,开发实现了 MoodEx-plorer系统并提出一个基于多标签学习的复合情绪识别模型。首先利用运行在安卓平台的APP从30名学生志愿者智能手机中收集数据。基于数据分析,发现用户的复合情绪与其智能手机使用模式和感知数据高度相关。我们设计了一个特征提取和特征选择算法来找到最显著的特征,并进一步采用因子图模型来处理特征与情绪标签之间的相关性以及情绪标签相互之间的相关性。大量实验表明,MoodExplorer可以识别用户的复合情绪平均可达到76.0%的精确匹配率。最后,针对智能手机感知环境中的情绪稳态检测的问题,提出了一个机器学习模型框架以实现基于被动感知的自动情绪稳态检测。首先从68名志愿者的智能手机中收集到了情绪数据和感知数据。然后我们时间序列化情绪数据对情绪稳态进行了量化。基于感知数据,我们引入了时序敏感的特征提取方法,构建了一个两层的长短期记忆(LSTM)网络提取特征以获取复杂的时序依赖性。最后,提出了一种基于注意力机制的多视图学习分类模型,以结合来自不同传感器的跨域知识来优化学习性能。大量实验表明,与所选基准分类器相比,所提出的多视图学习模型性能最优。