论文部分内容阅读
社交媒体是人们彼此之间用来分享意见、见解、经验和观点的工具和平台,是一种新的信息交流与共享的媒介。近年来,社交媒体在互联网的沃土上蓬勃发展,其传播的信息己成为人们浏览互联网的重要内容,大大改变了人们的生活方式。 相对于传统媒介,社交媒体具有噪声大、多模态、协同关联等特点,这些特有的数据特征给社交媒体数据的分析、管理、索引等方面带来了巨大的挑战。如何从社交媒体的海量各种媒体内容、关系属性等数据中自动地发现和挖掘隐藏于其中的有用信息,进而进行有效的信息搜索、获取、推荐等服务,成了互联网发展以及服务大众的关键。另一方面,深度学习,通过多层的非线性结构来处理表示的学习问题,具有强大的特征学习与融合能力。研究表明,深度模型在解决海量数据的复杂问题方面具有独特的优势,它为解决社交媒体信息挖掘问题带来了希望。 社交媒体特征学习算法研究旨在为媒体对象找到具有表达能力的特征表示,它是对社交媒体进行信息挖掘的前提与重要基础,也是多媒体内容分析、机器学习研究的热点问题。本文围绕社交媒体特征学习中的若干问题展开研究,结合具有强大特征学习能力的深度网络框架,根据社交媒体的数据特点,从特征表示的角度进行了深入的探讨,开展了以下几方面的工作: 1.基于深度多模态融合的社交媒体特征表示学习。针对社交媒体数据中的多模态特性,结合应用研究融合多模态底层特征的方法模型。一方面,结合社交图像的视觉信息以及对应的标签信息,利用矩阵分解和深度学习方法,提出一种基于嵌套深度置信网络的带标签图像分类模型,基于该模型对带标签的社交图像进行分类。另一方面,利用深度网络特征融合的思想,提出一种多模态深度排序学习模型。该模型结合深度网络和排序学习技术,学习查询文本-图像对的排序分数,用于基于文本查询的图像搜索排序。 2.面向社交媒体的关联性特征学习。针对社交媒体数据的关联性特点,研究面向社交媒体的融合关联性信息的特征表示。以深度网络和非参数贝叶斯方法为基础,提出了关联性生成式深度置信网络模型。在该模型中,媒体对象之间的关联信息通过对象的隐式特征间的交互而产生。该方法把对象间的隐式协同效应、对象自身的内容特征、对象间的显式关联连接信息集成到统一的隐式特征表示中,用于社交媒体中的图像标注、用户关联预测等应用。 3.基于深度网络的层级特征学习。针对社交图片的标签带有语义层级的特点,研究结合图像的视觉信息与标签的层级结构,学习图像的层级特征表示方法。与传统的使用预先定义的“扁平”特征方法不同,提出逐层标签嵌入深度学习模型。在该模型中,视觉信息与标签信息以从下往上的方式进行融合,并且监督训练与多模态融合两个步骤交替进行,使得每一层的隐式特征对应该层级的语义标签,从而形成该图像的层级特征表示,用于图像的层级标注。