随着社交网络的逐步兴起,随着多媒体技术的高速发展,图像已经成为日常生活中人们表达自我和理解他人的重要媒介。目前,大多数计算机视觉任务都集中在教会机器像人类一样“看”,很少关注机器如何才能像人类一样“感受”,而认识人类情感是通向强人工智能的必经之路。由此,图像情感分析应运而生,主要目的是理解人类对不同视觉信息产生的情感体验。作为计算机视觉领域的重要课题,图像情感分析的进展将会推动相关领域的研究（如图像美学质量评价、风格化图像描述生成等）,也会为相关应用带来积极影响（如舆情监测、意见挖掘、心理疾病诊疗等）。近年来,得益于深度学习模型强大的表征能力,图像情感分析方法的性能得到了显著提升。然而,现有方法大多集中在设计一个通用的网络来预测情感,很少关注图像情感特有的心理学先验信息。情感是人类的高级认知过程,图像情感分析也因而极具挑战,更需要不同学科知识的交叉融合。鉴于此,本文结合心理学模型和深度学习模型,设计网络模拟人类情感认知过程,针对抽象性、歧义性和主观性三大挑战,对图像情感分析问题进行深入研究,并提出相应解决算法。概括起来,本文取得的研究成果主要包括以下四个方面:1.提出了一种基于多激励感知的图像情感分类方法。现有基于深度学习的图像情感分类方法虽然取得了优越的性能,但是其中大多数做法都是对整幅情感图像直接提取通用特征,并没有考虑到人类认知中情感唤起这一特有过程。针对这一问题,受到“激励-机体-反馈”心理学模型启发,本文提出了多激励感知网络模拟情感唤起过程,用于解决图像情感分析抽象性这一挑战。基于心理学相关研究,本文选取颜色、物体和人脸作为情感激励,并设计三个特定网络有针对性地从不同的激励中提取情感特征。除此以外,本文设计了一种层级交叉熵损失,用于区分简单负样本和困难负样本。该方法在图像情感分类常用数据集上的表现始终优于现有方法,可视化结果也证明了多种激励在情感唤起过程中的重要性。2.提出了一个场景-物体关联推理网络用于图像情感分类。近来,图像情感分类方法逐步由全局转向局部,希望从细节中捕获更多情感线索。然而,不论全局还是局部,将特征不加关联地直接映射到情感类标上,都是低估了情感的抽象性。针对这一问题,受到心理学研究的启发,本文提出了一个场景-物体关联推理网络,试图从物体-物体、物体-场景的关联中推断情感,用于解决图像情感分析抽象性这一挑战。具体而言,本文首先基于语义概念和视觉特征搭建起情感图,并利用图卷积神经网络对该图进行关联推理,得到了情感增强的物体特征。为了进一步关联物体与场景,本文设计了一种基于场景的注意力机制,利用场景特征引导物体特征进行融合。在图像情感分类常用数据集上,该方法始终保持优异的性能,对情感物体概念和情感物体区域的可视化进一步证实了物体、场景和情感之间的强相关性。此外,本文方法被推广应用到了相关领域的潜在数据集中,并取得了不错的效果。3.提出了一种环状结构的表征方法用于图像情感分布学习。大部分图像情感分析的研究都集中在单类标情感分类任务上,然而在现实中,用类标分布来描述一幅图像的情感更加合理。由此,不少研究者转而研究图像情感分布。与一般的类标分布任务不同,情感类标之间存在内在联系。针对这一问题,基于Mikels心理学模型,本文提出了一种环状结构的表征方法来描述任意一种情感分布,旨在消除情感类别间的歧义性。首先,本文构建了一个情感圆环,可以将任意情感状态映射为其上的一个情感向量,并在该向量上定义了三种属性（极性、类别、强度）和两种特性（可加性、相似性）。此外,本文设计了渐进环状损失,用于由粗到细地约束情感向量。该方法在多项指标上的表现始终优于现有最优图像情感分布学习方法,对渐进环状损失的消融实验也证实了其中各部分设计的有效性。4.提出了一种基于主观性驱动的图像情感分布学习方法。现有方法大多从整体的角度来预测图像情感分布。然而,情感是主观的,不同个体面对同一张图像时可能会产生不同的情感,而情感分布正是由不同个体投票产生的有差异性的情感描述。针对这一问题,基于“对象-评估-情感”心理学模型,本文提出了主观性评估-匹配网络模拟人群情感投票过程,用于解决图像情感分析中主观性这一挑战。该网络主要包含两个阶段:主观性评估和主观性匹配。在主观性评估网络中,为了保留每个个体独特的情感体验,本文结合注意力机制建立情感记忆模块,并设计主观性损失确保不同个体间情感体验的差异性。主观性匹配网络主要由匹配损失构成,旨在将有序的个体预测值与无序的情感标注值实现一一匹配,该问题被建模为一个二分图匹配问题并通过匈牙利算法找到了最优解。在图像情感分布常用数据集的多项指标上,本文方法始终保持优异性能,对不同个体情感记忆的可视化实验进一步证实了主观性对于图像情感研究的重要意义。综上,本文结合心理学和深度学习模型,对图像情感分析问题进行探究,提出了四种模型。第一个模型从多种激励的融合中预测情感。第二个模型在此基础上进一步实现了场景-物体的关联推理,是从孤立到关联的过程。前两个模型研究的问题是图像情感分类,主要解决的挑战是抽象性。第三个模型通过建立环状结构来更好地进行情感表征,目的是消除歧义性。第四个模型从主观性角度模拟了人群情感投票过程,主要解决了主观性挑战。后两个模型研究的问题是图像情感分布学习。总结来说,本文的四个模型是从孤立到关联,从分类到分布,从共性到个性。