基于多模态层次融合特征的社交媒体流行度预测研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zhuxbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交媒体数据类型的多样化发展,仅仅利用文本信息或图片信息进行流行度预测是不够的,我们可以结合多模态信息更准确地预测流行度。然而,此研究在多模态数据的利用和不同模态特征的融合上仍然面临着一些挑战。首先,和单模态数据相比,多模态数据需要对文本、图像和其他信息(如帖子的类别和标签)进行特征提取,特征具有复杂性,充分利用这些信息比较困难。其次,多个模态的信息需要进行有效的整合,但当前的模态融合方式大多使用串联的方式,这种简单化方法无法保证多模态信息的完整性并且可能造成严重的信息损失。因此,本文提出了一种基于多模态层次融合特征的社交媒体流行度预测框架,包括图像特征提取、图像属性特征提取、文本特征提取以及显式属性特征提取,同时通过多层融合的方式,能更好地捕捉社交媒体帖子与其流行得分之间的潜在关系。本文围绕特征提取和多模态融合两方面进行改进以提高多模态流行度预测的效果,主要的研究和贡献如下:(1)利用多模态信息进行社交媒体流行度的预测。在模态特征的提取中,本文确定了图像、图像属性、文本、显式属性四种模态信息同时针对这四种模态完成了特征的提取与表示。(2)提出了一种新的层次融合模型进行多模态流行度预测。本文对模态信息进行了多层深度融合,而不是像其他多模态深度学习模型那样只是采用简单的串联进行模态特征的拼接。本文将此层次融合过程分为三个阶段进行充分融合,并将融合过的特征与流行度预测结合起来,有效地提高了预测效果。(3)为了验证所提模型的有效性,本文利用公共数据集(TPIC17和SMPD19)开展了综合的多模态流行度预测实验,结果表明:第一,XGBoost模型在流行度预测任务中的表现优于其他回归模型;第二,所提模型比其他多模态流行度预测模型的预测效果更好;第三,图像、图像属性、文本和显式属性确实对流行度预测有帮助;第四,模型设计合理,训练参数设置合理。因此,该模型在多模态流行度预测中具有重要意义。
其他文献
随着世界经济全球化以及互联网金融的快速发展,信用风险管理在确保金融机构的稳定运行中扮演着越来越重要的角色。金融业务规模和种类的不断发展,以及参与企业和用户数量的不断提高,导致风险管理在精度和可靠性方面的要求急剧增加。然而,与智能化风险评估需求形成鲜明对比的是,传统用户风险评估方法无法有效应对海量多源异构数据带来的复杂性,存在用户隐私保护机制不够健全,风险判别条件单一,数据流动受限,风险预判困难等诸
学位
近年来,机器学习被广泛应用于在线诊断、金融预测和入侵检测等场景。机器学习主要由数据驱动,为了让没有数据的用户感受到机器学习的便利性,机器学习即服务(MLaaS)模式快速发展。在MLaaS中,服务提供商从其私有数据集中训练预测模型,并为客户端远程使用该模型提供接口。预测模型对于服务提供商来说是非常有价值的私有资产,查询特征和预测结果对于用户来说是敏感的隐私信息。这激发了安全机器学习预测的需求,即服务
学位
随着我国天地一体化信息网络、物联网等复杂网络的逐步推进,其面临的安全威胁也越来越受到技术人员的关注,为了能够进行快速、持续的响应,安全人员不得不应对复杂的操作流程以及匮乏的资源、技能和预算。如果安全人员以手工的方式处理大量警报信息,很容易导致忽略真实且有危害的事件。因此建立一套自动响应、体系成熟、自成闭环的安全防护系统和安全服务能力编排系统是必要的。在天地一体化信息网络、物联网等复杂网络中,各类安
学位
倍半萜类化合物β-榄香烯(β-elemene),是姜科植物温莪术中的主要活性成分,具有广谱的抗癌活性。目前β-榄香烯的生产主要以植物提取和化学合成为主,步骤繁琐且易对环境造成污染。本论文以酿酒酵母工业菌株CEN.PK2-1D为底盘细胞,利用合成生物学相关技术在酿酒酵母中构建β-榄香烯的直接前体物—吉马烯A的高效生产平台。主要研究内容如下:(1)筛选具有高活性的吉马烯A合酶(Germacrene A
学位
随着互联网时代的来临,各种机器学习方法在大数据分析、计算机视觉等领域实践中取得了长足发展。传统的机器学习方法多是假设训练数据与测试数据独立同分布,然而,由于实际应用数据的复杂性,上述假设往往难以成立。因此,分析待测数据的隐藏信息并挖掘相关的已知数据信息成为现代机器学习的研究热点。迁移学习放宽了训练数据与测试数据独立同分布这一约束,旨在利用与目标域数据不同但相关的源域数据辅助完成目标域任务,实现已有
学位
随着人工智能和计算机技术的发展,将计算机相关技术运用于解决金融领域的问题,为传统金融问题带来了新的解决思路,综合不同领域的优势进行跨领域跨学科的研究已经成为现如今的研究热点。作为金融领域的经典研究问题,组合投资是选择一定数量的资产进行权重分配获得资产集合,以获得更高的回报,同时避免或减少投资风险的投资方式,该投资方式得到的资产集合称为投资组合。目前,国内外的相关研究已经提出了许多用于解决投资组合优
学位
智能制造竞争日益激烈的背景下,自动引导车(Automated Guided Vehicle,简称AGV)被广泛使用于仓储中的各个系统。AGV能够准确高效运输货物,为生产生活带来极大便利,对智能仓储和智慧城市等领域有重要意义。尤其当前国内外新冠肺炎病毒疫情蔓延,大量使用AGV可以减少人力和货物之间的接触,为仓储物品提供安全保障。智能仓储中AGV的任务完成主要包括任务调度和路径规划两个阶段,即设计每个
学位
软件仿真是硬件系统设计中的重要环节,是逻辑设计、系统验证和性能分析的主要手段。随着大规模数字电路系统硬件的复杂度不断提高,保证硬件系统设计的正确性、可靠性和安全性愈加重要。然而,现有商业仿真软件普遍具有使用成本高、操作过程繁琐等缺点,且大多商业仿真软件为国外所有,在国内环境中的使用具有较大局限性,给系统功能测试和性能改善的工作带来困扰。作为一种全新形式的正确性验证方法,形式化验证方法能够有效改善并
学位
树突状细胞(dendritic cells,DCs)是机体内功能最强的专职抗原递呈细胞,在启动免疫应答和介导免疫耐受过程中发挥关键作用。研究纳米材料对DCs免疫功能的调节是纳米材料免疫效应研究的重要组成部分。另一方面,由于纳米材料具有与天然病原体相仿的尺寸,极易被DCs摄入,通过纳米技术靶向DCs已经在多种疾病的免疫疗法中显示出了潜在的应用前景。而纳米材料较大的比表面积和极强的表面活性使其表面理化
学位
近年来,随着全球经济发展和城市化进程的推进,颗粒物(Particulate matter,PM)成为威胁人类健康的重要因素。PM2.5作为颗粒物中的重要组成成分,由于其比表面积大,尺寸小,在空气中的保留时间长,易携带大量有害物质进入人体,对人体肺部及心脑血管造成损害,从而引发相应疾病的产生。此外,PM2.5可以直接进入并粘附在人的下呼吸道和肺叶,扰乱人体免疫系统进而诱导肺部炎症的产生,受到大家的广
学位