论文部分内容阅读
图像美学质量评估和图像剪切是计算机视觉领域备受关注的研究方向。图像美学质量评估致力于自动地评估一幅图像美学质量的高低。可应用于图像检索、图像编辑和图像推荐等。例如:目前已有的图像检索算法主要根据图像与查询关键词之间的相关度来排序,没有考虑返回结果中图像的质量,而图像美学质量评估恰好可以弥补这方面的缺陷。图像剪切是通过去除图像的冗余或非美观区域来提升图像质量的一种常见操作。有效的图像剪切算法不仅可以帮助编辑者节省时间而且可以协助专家进行剪切。在大数据的今天,自动化的图像美学质量评估和剪切算法尤为重要。每天有海量的图像数据上传到互联网上,人工评价图像的美学质量和人工剪切图像费时费力,而自动化的图像美学质量评估和剪切方法可以帮助人们对图像进行评估。近年来,国内外学者在图像美学质量评估方面做了大量的工作。但是这些方法基本都是非个性化的。他们通过赋予图像一个通用的二值标记或得分来评估图像的美学质量。这些方法具有类似的流程。首先提取图像的视觉特征,然后利用分类器进行回归或分类。但是这些方法忽略了一个事实:美学是一种人的主观感知,不同的人具有不同的美学感知。因此图像质量评估工作面临的一个巨大挑战是怎么理解和建模用户的美学感知,从而实现个性化的评估。基于此,在本文第2章我们提出了一种个性化的图像美学质量评估算法。我们从一个新的视觉,利用社交平台上存在的一些社会信息和图像本身的视觉信息来实现个性化的图像美学质量评估。社会信息主要包括用户对图像的点赞信息、用户的联系人信息和图像的标签信息等等。通过挖掘这些社会信息,我们来对用户的美学感知进行建模,从而实现个性化的图像美学评估。我们采用了两个图像质量评估标准数据库,同时采集了大量Flickr社交平台上的专业图像和相关的社会信息,实验表明我们的方法能更好地进行个性化图像美学评估。一些图像整体可能不够美观,但是通过剪切操作可以提升图像的美学质量。当前的图像剪切方法主要是通过分类器来对图像进行剪切。这些方法都是多步骤的。通常首先生成候选区域,随后提取候选区域的特征,最后通过分类器或者搜索算法获得最优的剪切区域。但是这些方法很慢而且很难优化,因为每一步都需要单独训练。因此,本文第3章提出了一种端到端的基于单一网络的图像自动化剪切算法。这个框架是基于全卷积神经网络构建的。所以我们提出的方法可以接受任意大小的输入图像,并且可以根据剪切效果进行端到端的优化。我们在2017年公布的一个数据集上验证了我们的方法。实验结果表明我们提出的基于单个网络的图像剪切算法无论在精度还是速度上都实现了显著的提升。