随着社交平台的发展,人们每天面临海量的图像数据并习惯用它们表达自己的情感。如何从海量数据中提取人类关注的显著信息,并快速有效地分析图像表达的情感,成为计算机视觉的新挑战。这两个任务分别属于计算机视觉领域的视觉显著性预测和视觉情感分析,在视觉跟踪和情感图像检索等方面具有广阔的应用前景。然而,目前大多数研究对这两个课题进行独立的分析,忽略了图像情感与视觉显著之间的相互作用。心理研究表明,图像的情感区域会吸引人们的注意。同时,人们关注的显著区域往往包含强烈的情感信息,这个显著区域甚至足以确定图像表达的情感。虽然部分工作尝试在显著性模型中引入图像上下文信息,或者在情感分类模型中引入显著性区域,但都没有达到理想的效果。为了全面深入地对两者间的关系进行建模分析,本文工作如下:（1）提出了一种同时包含情感图像和人类眼动注视图的合成数据集生成方法,解决了当前情感数据集和显著性数据集相互隔离的问题,并且在显著性数据集上证明了该方法的有效性,为后续的研究提供新思路;（2）显著性方面,提出了以显著性预测为主,情感检测为辅的研究框架,采用跨空间池化策略将情感与显著性特征进行耦合,并设计新的损失函数来提高模型的预测性能。结果表明,该模型在EMOd等显著性数据集上的多项评价指标取得当前最优,证明了本方法的有效性。同时可视化结果证明了引入情感有利于模型捕捉与人类感知更接近的显著区域;（3）情感分析方面,提出了以情感检测为主,显著性预测为辅的框架,将预测的情感区域作为局部特征引入情感分支,并与全局特征进行融合,准确率比当前模型提高了约2%。为减少人工标注的成本,本文还提出一个端到端的无监督框架,利用特征金字塔网络提取图像的多尺度特征,采用注意力机制发现情感相关区域,并设计自适应融合网络整合局部和整体信息。结果表明,该方法在TwitterI的分类精度提升至85%,且在没有任何标注的情况下,显著性预测性能接近弱监督方法,证明了该方法的有效性。