引入图像信息的多模态复述生成模型

来源 :北京大学学报(自然科学版) | 被引量 : 0次 | 上传用户:nihao99520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
复述生成(Paraphrase Generation)在自然语言处理任务中起着重要的作用, 它可以为文本提供多样化的表达。但是当下网络中的信息并非单一的文本形式, 更多情况下是由图像与文本共同构成的多模态形式。其中文本信息往往来自于同其相关联的图像信息, 例如商品描述和新闻评论等。在这样广泛存在的多模态场景下, 已有的复述生成模型只能围绕文本信息生成复述, 大量的图像信息在这个过程中并没有得到利用, 导致模型生成的复述句会丢失部分语义信息或产生歧义。对此, 我们首次提出多模态复述生成模型(Multi
其他文献
图像补全是数字图像处理领域的一项重要研究内容,大面积不规则缺失图像的补全是近年来的研究热点.然而,现有的图像补全技术存在一些局限性,基于生成式对抗网络的方法忽略了图像的边缘结构信息,存在无法还原精细细节的问题;基于局部判别器的方法不能处理非矩形的缺失图像,存在补全任务不符合实际应用场景的问题;等等.本文结合多粒度认知计算的思想,提出了基于多粒度特征融合的边缘判别器,充分学习不同粒度的边缘结构信息,
期刊
基于聚合物分散液晶薄膜,提出了一种新型高分辨率光场显示的方法。首先,搭建虚拟相机阵列,对目标物体的光场信息进行采集,获得其元素阵列图像;然后,根据聚合物分散液晶的光电特性,通过调变聚合物分散液晶薄膜的外加电压以及利用人眼的暂留/余晖效应,可获得高分辨率的光场显示结果。实验结果表明,相较于传统方法,所提出的方法较为简便,并拥有较高的显示质量,所呈现图像的峰值信噪比提高了约11%;另外,所提出方法的系
期刊
随着全球大洋调查的不断开展以及各种海底探测技术的进步,海洋调查数据日益积累增多,以往主要通过使用不同的专业软件来进行各类大洋数据的可视化和成图分析。在海洋调查方面目前迫切需要一种可视化软件,能够快速显示海底大洋的观测和探测数据,并能够快速简单的综合分析和成图。为了解决快速可视化和多种类型数据同界面显示问题,本文利用Matlab中的图形用户界面工具,开发和设计了简单易操作的OceanVis1.0数据
期刊
指节纹识别(Finger-Knuckle-Print Recognition)作为一种新型的生物特征识别方式,以其安全性和稳定性而备受关注。基于编码的方法被认为是该领域最有成效的方法之一,在模板匹配阶段它们通常是根据所提取的特征信息计算出的两张图片之间的匹配距离来判断样本。然而,一些模糊样本无法通过单一的匹配距离来进行有效区分,从而导致较高的错误接受率和错误拒绝率。针对这一问题,提出了一种轻量化且
期刊
为筛选楸树优良抗寒种质资源,本研究以滇楸、灰楸、梓楸、金丝楸为试材,在自然低温胁迫期间测定其半致死温度、可溶性糖含量、淀粉含量、干物质含量、ATP酶活性、5’-AMP酶活性和脱落酸(ABA)含量等指标,并采用主成分分析法和隶属函数法对抗寒性进行综合评价。结果表明:(1)4种楸树的胞内电阻率(r_(i))、可溶性糖含量、干物质含量、ABA含量随着半致死温度的增强呈上升趋势;(2)可溶性糖和干物质含量
期刊
微生物残体在土壤有机质的形成和稳定过程中发挥重要作用,湿地开垦对土壤微生物残体积累特征的影响尚不清楚。本研究以三江平原小叶章湿地为对象,采集原始自然湿地和开垦改种豆科作物后不同耕作年限(5年、10年和25年)的土壤,以氨基糖为微生物残体的标识物,探讨湿地开垦对土壤微生物残体积累特征的影响。结果表明:自然湿地开垦为农田后显著降低了土壤氨基糖的含量,且随着开垦年限的增加氨基糖的损失比例也增加。与自然湿
期刊
现有的目标检测框架中,浅层弱分类能力是制约着网络精度进一步提高的关键.针对上述问题,本文提出了基于浅层定位信息的动态细化检测网络.该网络在单阶段算法的基础上,通过增加多连接模块以增强浅层特征,同时去除浅层的分类操作以最大保留浅层的定位结果,并将其作为候选框送入深层网络.深层网络通过使用引入自适应因子的感受野模块构建特征金字塔,以获得丰富的语义信息用于对浅层的回归结果进行判别和微调.最后设计基于自注
期刊
本研究旨在解决峰丛洼地土壤有机碳(soil organic carbon, SOC)含量高光谱估算存在的困难,提高SOC含量的预测精度。文章以桂东北寨底峰丛洼地土壤为研究对象,利用二阶微分和去除包络线二阶微分方法对土壤光谱进行处理,筛选出3种光谱指数与SOC相关系数最高的特征波段,通过偏最小二乘回归、多元线性回归与多元逐步回归等模型的精度比较,确定SOC最佳估测模型。结果表明:(1)研究区土壤样品
期刊
目前有机肥替代化肥对旱地黄壤有机碳矿化及活性有机碳的影响特征及机制还不够明确。为探究有机肥替代化肥对旱地黄壤有机碳矿化及活性有机碳的的影响,采集施肥处理为不施肥(CK)、单施化肥(NP)、50%有机肥替代化肥[1/2(NPM) ]和100%有机肥替代化肥(M)的土壤进行有机碳室内矿化培养研究,探究有机肥替代化肥条件下土壤有机碳变化特征及活性有机碳变化。结果表明,有机肥替代化肥显著提高土壤pH、有机
期刊
[目的]针对母猪哺乳行为及哺乳时长的自动化监测水平低、人工观测费时费力等问题,提出一种基于YOLOv5结合db4小波的方法,实现非接触式母猪哺乳行为的判定和哺乳时长的监测。[方法]利用YOLOv5对目标母猪和仔猪进行识别并输出母猪姿态,选择姿态为侧卧的母猪获取其预测框面积,根据哺乳特征的预测框面积变化与哺乳行为建立对应关系,综合判定母猪的哺乳行为和哺乳时长;利用高、低通滤波器对母猪预测框面积进行下
期刊