自从信息网络诞生,网络互通这一新鲜的技术便得到了人们广泛的关注,信息网络在人们的探索中得以不断的发展与进步。在新时代中,微博等具有强交互性的社交平台也应运而生,这些社交平台逐渐融入了亿万人的生活之中,也潜移默化的改变了人们的生活方式。每天微博平台都会产生大量的图像与文本数据,微博用户的行为信息就呈现在这些异构数据之中。从中挖掘用户兴趣进行个性化推荐具有极大的商业价值。由于同一篇微博中的图像和文本数据之间存在复杂的内在关联关系,因此跨模态用户兴趣分析成为了当前研究的热点。本文从实际问题出发,面对社交平台对海量用户信息的挖掘需求,同时针对目前已存在算法挖掘效果不足的问题,进行了大量的理论研究和实践探索,采用一种跨模态特征融合的用户兴趣挖掘算法来解决存在的问题。首先,社交媒体平台上虽然有海量的用户微博信息,但它们均是不含标签信息的文本与图片数据。这些数据不足以支持我们进行理论研究和实践探索。为了解决这一问题,我们利用知识图谱从无标签数据集中抽取实体,对爬取的数据进行预分类,给无标签数据预先打好兴趣标签。这种方法有效地解决了有标签数据量不足的问题。其次,为了更好地挖掘微博用户兴趣所在,本文仿照艾宾浩斯记忆遗忘曲线,提出了用户兴趣衰减模型这一概念。通过对热点话题下的用户发博频率进行拟合,得到了兴趣衰减曲线,利用该曲线可以获得用户在当前时刻对每条所发微博的兴趣度。利用这一参数可以更好的对用户兴趣进行挖掘。最后,利用深度学习模型对含有用户兴趣值的微博信息进行学习,提取图片,用户标签,博文这三种特征,利用多层感知机,对多模态特征进行融合,获得多模态特征间的关联关系。进一步可以得到不同数据信息的权重,从而挖掘微博用户的兴趣所在,进行相应的推荐。