论文部分内容阅读
社交网络日益流行并且大量用户持续活跃,社交网络积累了大量用户产生的数据。社交网络中除了文本之外,还包括图像等多种异构媒体数据。微博因为文字数量限制,在用简明扼要的文字说明之后,通常会借用一幅或者多幅图像来对事件进行描述。因此解决文本图像内容不严格对应问题,对异构模态数据进行分析与建模,实现语义一致性表达和异常检测是非常必要的。本文完成的主要工作如下:(1)采用深度学习理论与算法以实现社交网络图像与文本深度特征的提取与表达。提出了一种基于深度卷积神经网络的社交网络图像自编码算法(DCNNSE),提高了图像编码的有效性。在社交网络数据集上,图像自编码算法使图像搜索的准确度提升了 27.1%。提出了一种文本半监督嵌入自动编码算法(SEAC),在文本编码具有文本语义的同时也加入了时空信息,相比Word2vec在搜索上的平均精确度与准确率上都有提升。(2)提出了一种处理社交网络跨模态匹配问题的深度典型相关性分析融合回归神经网络(DMRN),通过在回归网络的输入之前执行图像和文本特征的非线性处理,再结合了深度典型相关性分析,在跨媒体搜索中图像搜索文本和文本搜索图像的召回率分别提升了12.6%和 11.8%。(3)提出了基于层次注意力加权的异常用户检测模型(LAWW),针对社交网络言论较短、判断异常用户较难的问题,通过采用注意力机制与统计学特征对输入加权,挖掘出了更有效的检测特征,提出的LAWW算法在异常用户检测准确率达到了 73.32%。(4)设计和开发了社交网络跨媒体国民安全事件语义学习与行为分析系统。提供深度神经网络模型参数设置功能。通过对输入数据进行学习,提取出社交网络跨媒体数据的深度特征。实现了跨媒体多模态的语义空间映射、跨媒体多模态的搜索、跨媒体多模态用户行为分析等功能。系统功能全面,并实现了友好的用户交互界面。本文实现了社交网络跨媒体深度特征提取,提出了社交网络跨媒体语义空间的映射与表示,针对社交网络异常用户进行了检测,开发了社交网络跨媒体国民安全事件语义学习与行为分析系统,并对系统进行了测试与验证。