论文部分内容阅读
随着视觉成像设备、计算机网络技术以及移动社交媒体的飞速发展,以图像和视频为主要传播媒介的信息在互联网上呈爆炸式增长。对图像内容的管理和利用的需求也日渐增强,而对图像的管理和利用是建立在对图像内容的语义理解上的。多标签图像分类是指将图像划分到预先定义好的语义类别中,一张图像与至少一个类别相关,它是图像自动标注的一种,是图像语义理解最直接的实现方式,具有重要的研究价值与应用价值。近年来深度学习在图像分类与识别上取得了里程碑式的进步,但是绝大多数工作集中在单标签图像分类,其中有少数工作将多标签分类问题转化为多个单标签分类问题以利用深度卷积神经网络(CNN)的强大学习能力来改善多标签分类的效果。这些工作取得了一定的成功。但是,这些工作多集中于解决视觉模态到文本模态的关联学习,一定程度上忽略了标签与标签之间的语义相关性,以及图像与图像之间的视觉相似性。这些信息倘能合理利用,能够有效改善多标签分类的效果。因此,本文着重探索了目前主流的基于深度学习的多标签图像分类技术,在此基础上,首次提出基于深度卷积神经网络并进一步融合标签相关性与视觉相似性的多标签图像分类方法,具体而言,本文取得了如下成果: 本文提出一种基于标签相关性的多标签图像分类方法。该方法利用二分类器学习对应的类别标签与当前图像的二值相关性,同时利用成对排序损失函数学习标签与标签之间的成对相关性。在此基础上,本文进一步引入一种在线难负例关系挖掘策略,使得模型集中学习易混淆的标签关系,降低了模型训练的运算量,并提高多标签图像分类的精度。 为提高目标在复杂背景及部分遮挡情况下的预测效果,本文提出一种基于卷积特征聚合的多标签图像分类方法。其中,本文设计出一种基于空间注意力自适应聚合的卷积层特征,该特征通过卷积层特征投票、阈值去噪、注意力转移等方法在图像上捕捉感兴趣的目标。本文用该特征查找图像的最近邻,并基于视觉相似性通过最近邻标签决策完成多标签分类。最终实验结果表明基于卷积特征聚合的近邻多标签分类方法能大幅提高目标召回率。 在上述研究基础上,利用标签相关性模型的高准确率与视觉相似性模型的高召回率的特点,进一步提出融合标签相关性与视觉相似性的多标签图像分类系统。该系统一方面能对图像与标签、图像与图像、标签与标签之间的关系进行充分挖掘,另一方面视觉相似性模型能够对训练数据进行二次利用,缓解CNN易过拟合的问题。实验表明,本文提出的多标签图像分类系统在NUS-WIDE数据集上优于现有的同时使用CNN和循环神经网络(RNN)的方法,在PASCAL VOC及MS-COCO数据集上达到目前已发表文献最好水平。