基于多模态神经网络的新闻图片自动插入研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:roc9055
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新闻报道中的图片可以抓人眼球,引起读者阅读新闻内容的兴趣,也可以直观地传递出新闻报道的内容。本文探究人工智能技术在图片新闻领域的应用,期望可以借助机器的力量,帮助新闻编辑者自动完成为新闻配图的工作。本文首先研究了新闻图片在报道中顺序插入的问题,提出了一种基于多模态循环神经网络的模型。该模型配有编码更新机制,可以将图片以一定顺序插入到新闻文本中的适当位置。对于每幅图片的插入位置,该模型的选择标准是候选位置周围若干条语句与这幅图片的相关性。本文采用两种方法评估图片与待插入位置周围语句之间的相关性:一种评分前使用卷积操作提取每个位置周围语句的语义信息,另一种在评分后使用池化操作求图片在每个位置周围的综合相关性评分。每插入一幅图片,该图片会携带额外的信息进入新闻中。因此,本文引入一种更新机制,在插入图像后更新新闻语句的编码。本文通过扩展Daily Mail数据集来验证此模型的效果。实验表明,根据两个评估指标,该模型优于包括Pointer Net在内的四个对比模型。之后,本文研究了未知图片归属的情况下的图片插入问题。此时,候选图片并非可以全部插入到文本中。此项研究需要先判定图片是否可以插入到新闻文章中。在确定图片可插入之后,模型再根据图片和文章语句的相关性,预测出插入位置。此模型推出一种新的方法计算图片与文章的相似度,此方法综合考虑了图片与文章整体的关系以及图片与文中每条语句的关系。由于图片筛选任务和图片插入任务都需要计算图片和文中语句的相关性,此模型将这两项任务放到一起进行多任务学习,期望经过一次训练可以同时解决多项任务。实验结果表明:对两项任务而言,联合训练所学习到模型强于它们分别单独训练。因此,通过多任务学习的模型在降低学习成本消耗的同时还提高了模型的准确率。在数据集上的实验证明了本文推出的方法具有可行性。且与参照模型相比,本文的模型取得了最优的结果。本文的研究成果可以为解决图片与长文章匹配的相关研究提供新的方法,也可以投入到将图片插入到长文章的实际应用中去。
其他文献
信息物理融合系统作为现代科技高度智能化和网络化的产物,内部恶意软件的传播是需要极力避免的现象,而从动力学层面合理预测恶意软件传播的动态行为能够极大程度地保护信息物理融合系统的安全。Hopf分岔作为经典的动力学行为受到了学者们的广泛关注,但在恶意软件传播领域却鲜有学者研究。实际上,分析恶意软件传播模型的稳定性与Hopf分岔对了解恶意软件传播机理有着至关重要的作用,且恶意软件传播动力学的相关研究在数量
学位
在移动机器人的研究领域中,路径规划技术一直是研究人员和学者的重点研究方向之一。本文在传统的快速扩展随机树(Rapidly-exploring Random Trees,RRT)算法的基础上,针对多障碍物环境和不规则障碍物环境下的移动机器人的路径规划问题,提出了两种改进的RRT算法,分别为:在多障碍物环境下的基于变权重势场的改进RRT算法和在不规则障碍物环境下的基于模糊逻辑的改进RRT*算法,并在仿
学位
近年来,无人机以其部署成本较低、灵活机动等优势在无线通信领域得到了广泛应用。在灾难救援、临时战场环境等场景下,可以利用无人机作为空中节点可以快速建立起一套无线通信系统以提供信息交换的服务,但由于无人机会受到能量限制,和地面节点之间的信道也会受到位置影响,因此怎样在有限的资源下提升无人机通信系统的有效性和可靠性是无人机通信需要克服的重点问题。基于上述背景,本文主要研究了一种多无人机协作的无线中继系统
学位
在过去的二十年里,中国铁路实现了跨越式发展。随着铁路总里程迅猛增长、高速客运运营里程不断增加和高密度班次等因素,铁轨表面出现损伤的概率大幅增加。铁轨表面损伤会减少铁轨使用寿命,而且还会非常容易诱发铁轨内部损伤,严重的内部损伤甚至会引发铁轨断裂,造成列车脱轨等严重铁路事故。因此,需要一个能对铁轨表面损伤快速、准确发现的铁路巡检系统,并及时进行维修以避免诱发更严重损伤,导致铁轨寿命大幅度降低。本文采用
学位
目前我国大部分水厂采用基于水流量定比例的人工控制方式对臭氧进行投加,通常以臭氧接触池出水余臭氧浓度作为控制指标,将余臭氧浓度控制在一定范围。然而,自来水厂使用的水中余臭氧浓度检测仪器存在技术短板,当长期处于水中低浓度(0.2mg/L以下)工作环境容易发生钝化现象导致测量异常,这给臭氧的自动投加带来了很大的困难。此外,臭氧投加过程具有大滞后、非线性和多扰动的特点,在原水水质和进水流量频繁变化的情况下
学位
光纤布拉格光栅(Fiber Bragg Grating,FBG)传感技术不仅具有光纤传感器体积小,重量轻和抗电磁干扰能力强等特点,还具备解调成本低和灵敏度高等优点,因此在航空航天与航海设备、岩土边坡监测和结构健康监测等领域具有重要的作用。目前在边坡监测中,商业化的高精度电传感器虽然能达到边坡预防的需求,但仍存在着易受复杂环境影响的问题。基于FBG的边坡位移传感器,由于需要考虑温度-应力交叉敏感问题
学位
学位
行人重识别(Pedestrian re-identification)技术是指在若干不同摄像头拍摄的图像或视频序列中寻找出特定的行人,其应用场景主要是光照充足的日间场景。然而实际应用中,很多图像或视频是在夜间由红外相机拍摄的,传统的行人重识别无法解决此类问题,故行人重识别开始向跨模态行人重识别发展。红外图像和可见光图像的巨大差异使得跨模态行人重识别颇具挑战性。深度特征相比于传统特征具有很大优势,本
学位
当前市场竞争日益加剧,企业为了能够更好的实现发展,获得竞争优势,就一定要加强人力资本管理,培养高水平的人才。对竞争对手来说,企业人力资本的差异性、复杂性与创造性都是无法模仿的。因此,这也是企业实现自身竞争力增长的重点。增强人员培训管理,不断提升人员综合业务水平,是当前企业实现人力资本增值的主要基础,也能够促使企业业绩迅速增长。但是传统培训模式存在一定的局限性,其主要体现在教学方式单一,趣味性不足;
学位
侧信道攻击(Side Channel Attack,SCA)是一种强大的攻击方法,攻击目标主要是密码芯片和密码设备,利用数据加密时泄露的相关信息破解加密设备中所使用的加密密钥。SCA可以在数据加密的过程中不破坏密码设备和加密数据的情况下获得密钥信息,对密码设备的安全性产生了严重威胁。本文主要研究高级加密标准(Advanced Encryption Standard,AES)算法的侧信道攻击方法和实
学位