随着移动设备,互联网技术以及社交网络的发展,社交媒体上积累了越来越多的用户上传的图片,文字,视频等等多媒体信息。通过这些多媒体数据,可以对用户的情感进行分析,从而产生巨大的应用价值,如选举预测,舆情监控,个性推荐等等。本文针对Flickr社交媒体中用户上传的图片及其评论进行分析,主要创新点包括:通过聚类词袋模型对文本数据进行特征提取,通过有监督集体矩阵分解进行图像特征和文本特征的融合,通过集成学习进一步提升效果。围绕上述创新点,本文从如下几个方面介绍了基于有监督集体矩阵分解的跨模态情感分析算法。图像特征和文本特征的提取。对于社交网络中的图片,由于其情感信息非常复杂,且缺少足够可信的标签信息,本研究中采用了在图像分类任务中取得优异结果的预训练网络作为特征提取器,从图片中提取深度图像特征。对于图片相关的文本数据,由于tag信息被用来提供弱标记信息,本文只将图片相关的评论作为文本数据。对于这些文本数据,首先进行拼接并去除介词,得到词语列表,之后将词语转化为词向量,利用词向量本身的距离信息,进行聚类,最后通过词语与聚类中心之间的距离信息,构造当前图片的聚类词袋模型作为文本特征。通过在三类情感极性数据和六类情感类别数据上的实验,结果验证了图像特征和文本特征本身的有效性以及BoGV文本特征相对于直接使用Glove特征的优势。图像特征和文本特征的融合。图像特征和文本特征是对不同数据进行的处理,可以认为是对一张图片中所反映的情感的两个不同方面的刻画。为了更好的对图片的情感进行描述,需要将两种特征结合起来。传统的方法包括直接拼接,关联分析和矩阵分解等等。但是这些方法都是无监督的,即其寻找关联的过程都是针对数据本身的统计信息的,而对数据本身的目标并没有描述,因此往往效果有限。为了更好的利用图像特征和文本特征,本文通过拉普拉斯矩阵的方式,将标签信息引入到集体矩阵分解的过程中,希望具有同样标签数据的样本分解后的结果同样具有类似的数值表现。同时,针对本研究中采用的类似直方图的数据,采用了直方图交叉核函数支持向量机对数据进行进一步的预测,得到进一步的效果提升。通过在三类情感极性数据和六类情感类别数据上的实验,结果验证了直方图交叉核函数支持向量机的有效性,SCMF特征融合算法的有效性以及相对于已有算法的提升。基于上述特征的集成学习进一步提升。由于情感问题的复杂性,目前不论是已有方法,还是提出的算法,效果都不是很好,属于弱学习器,因此可以通过集成学习对结果进行进一步提升。本研究中通过Stacking的方法,通过基学习器构建初步学习结果,并通过次级学习器进行二次学习,得到更好的结果。本工作中采用了包括梯度提升决策树,随机森林,多层感知器,支持向量机等多种异构学习器作为基学习器,通过多层感知器和逻辑回归两种模型进行二次学习。通过在三类情感极性数据和六类情感类别数据上对三种特征进行的学习,本文获得了相比之前结果更优的学习结果,验证了该方法的有效性。