图像美学质量评估旨在学习一个模型,自动地将给定的图像分类为高质量或低质量。其关键任务是找到合适的图像表示方法,使之能够建立图像内容和美学质量之间的关联。由于其在模式识别和计算机视觉领域的潜在应用价值,正逐渐成为热门的研究课题之一,并吸引了越来越广泛的关注。除了在图像搜索、图像筛选以及图像编辑等领域发挥了不可忽视的作用之外,图像美学评估在海报设计、文稿设计、服装设计、建筑设计等其他领域也有着广阔的应用前景。因此,设计有效的算法提高图像美学评估的性能已成为一个非常迫切的问题。本文的第一个工作是基于用户社交行为的图像美学质量分类研究。美学评估的关键任务是提取到合适的美学特征。特征提取工作从早期的手工设计特征到近期的深度神经网络自动提取特征,已使得美学评估的性能得到了显著的提高。然而,在特征使用上,现有思路使用的都是图像的视觉内容,并没有考虑人类对图像的认知信息。目前,互联网的发展以及大量社交媒体平台的出现,我们可以得到大量的拥有用户行为信息的社交图像。社会心理学研究表明,人类的认知过程与人类所做出的行为是相互关联的,因此本文提出从用户的社会行为信息中挖掘用户的认知信息,并用来辅助图像美学质量评估任务。首先,为了降低用户社会行为的不确定性,我们将不同类型的原始社会行为进行聚类,并使用在不同簇上的社会分布来表示每幅社交图像。然后,我们借鉴迁移学习的思想,用社交图像训练一个社会行为检测器,并将其应用于提取普通web图像的用户认知特征。最后,将图像视觉内容与用户认知信息进行特征的融合,以此提高图像美学评估的性能。在两个美学评估标准数据集上的实验结果证明了本文方法的有效性。本文的第二个工作是基于语义混合网络的图像美学质量标记分布研究。在早期的一些工作中,图像往往被赋予一个单个的标签,即高质量或低质量,或者被赋予一个美学得分,图像美学质量评估任务一直被归类为一个二分类任务或者回归任务。然而,美学质量评估作为一种人类精神文化活动,不同的人对同一幅图像会有不同的美学感知,因此二值化的美学标签并不能很好地衡量所有人的审美偏好。与现有的美学分类研究不同,本文的工作基于标记分布学习,即将图像美学量化为在若干个美学等级上的分布表示。本文基于全卷积网络,可以保留输入图像的原始大小而不用将其转换为固定的尺寸,从而规避了损失图像原始美感的风险,进而提高图像美学分布预测任务的性能。此外,考虑到美学感知需要伴随人类对图像的语义理解,本文提出使用图像的语义信息来辅助美学评估任务。本文提出了一种基于标记分布学习的语义感知混合网络来实现上述功能。在两个美学评估标准数据集上的实验结果证明了本文方法的有效性,并展示了保留图像原始大小和使用图像语义信息的作用。