随着互联网的普及,传统的休闲娱乐方式不再是娱乐的主体,人们更多地选择线上的娱乐方式和通讯工具,在这个背景下,社交平台应运而生。图片社交已经成为了社交平台的主流功能。图片社交带来了海量的社交媒体图像,有限的计算资源如何对其进行快速有效的处理已经成为了亟待解决的问题。本文研究的主要动因来自于社交网站的图片处理压力。本文以显著性检测技术为切入点,选择图像显著区域提取方法为主要研究内容,并以图像分类机器视觉任务作为显著区域提取方法的应用延伸,具有非常重要的理论意义和应用价值。具体的研究内容和创新性成果概括如下。1.针对目前尚没有面向社交媒体图像的显著性数据集现状,构建了此类显著性数据集,详细论述了数据集的图像来源、图像的筛选原则、图像的标注以及数据集的统计分析。为了验证新建数据集的性能,新建数据集和目前流行的7个显著性数据集进行性能评测。实验结果表明新建数据集具有显著区域尺寸丰富、与图像边界连接度高、不具有明显中心先验、显著区域与图像的颜色差异小等优点。此数据集为显著性检测研究提供了新的测试对象,而且,带有的标签信息也为新的显著区域提取方法提供了条件。2.研究表明单纯的依赖图像底层特征进行显著区域提取已经不能取得令人满意的效果,越来越多的提取方法转向机器学习和高层语义。基于此,本文充分考虑社交媒体图像带有语义标签的特点,提出了基于条件随机场模型的显著区域提取方法。该方法同时考虑图像外观特征和标签上下文信息,缩小了图像高级语义和低级特征之间的距离。在实验中,首先对比了加入标签信息和不加入标签信息的提取差异,证明了标签语义对于显著区域提取的重要性和有效性;其次,所提方法与流行的23种显著区域提取方法进行了对比,受试者工作特征曲线(ROC曲线)、ROC曲线下的面积(AUC值)、查全率和查准率的调和平均值(F-measure值)、查准率和查全率曲线(PR曲线)均高于其他所有方法,提取的查全率与查准率均得到了提升。3.深度学习技术正广泛应用于图像的显著区域提取任务,虽然基于深度学习特征的显著区域提取结果整体优于基于人工设计特征的提取结果,但提取效果仍存在个体图像差异。基于此,本文提出了面向社交媒体图像的基于多特征的显著区域提取方法,既包括深度学习特征也包括人工设计特征。采用的深度学习特征包括卷积神经网络特征和标签语义特征。本文将经典的基于人工设计特征的提取方法结果作为基于深度学习特征提取结果的有益补充,提出了基于标签和图像外观的显著图动态融合方法,此融合方法依赖于个体图像。实验结果表明多特征提取方法的结果较单一的深度学习特征或人工设计特征的提取结果均有明显提升。4.根据是否包含显著区域,将图像库分为场景类图像库和对象类图像库。对于场景类图像库,提出了多环划分的特征池化区域选择方法和多视觉词硬编码方法,两种方法相结合能够进行场景类图像库的快速分类。对于对象类图像库,提出了基于显著性的软编码方法,既突出了显著区域对于对象类图像库的重要性,也体现了局部性空间约束对于编码一致性的重要作用。实验结果证明了方法的有效性,也说明显著性能够为分类方法提供新思路。