图像描述生成技术的研究与应用

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:karavika
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述生成是一项连接计算机视觉和自然语言处理的技术。随着图像描述能力的提高,其实用价值也越来越大,是当前人工智能研究领域中的热点和难点。船舶目标是海洋活动的主体。及时掌握船舶目标信息,是打造我国海洋强国建设国家战略的重要基础技术环节。基于海洋遥感图像的船舶目标智能处理主要有两个方向:(1)基于计算机视觉的船舶目标识别,如基于深度学习的图像船舶目标自动识别技术等,实现对船舶类型的准确识别;(2)基于图像描述生成的船舶目标语义信息生成,实现非结构化遥感图像到结构化船舶目标语义信息的转换,对遥感图像中包含的船舶目标运动状态、周围环境、场景等语义信息进行合理的文字描述。本文重点关注基于图像描述生成的船舶目标语义信息生成研究,首先提出一种新的图像描述生成模型--ICBVFMA模型,并把该模型应用到海洋船舶目标监管应用中,主要完成工作如下:(1)针对ICBSA模型中存在的特征信息量小、语句生成不流畅等不足,本论文提出了一种新的ICBVFMA模型。首先,利用视觉特征提取网络,提升特征提取的表达能力;其次,设计带有视觉选择机制的LSTM,提高生成语句的流畅性;第三,使用多空间特征匹配技术,重新校准空间注意力的生成;第四,通过混合注意力,融合视觉信息和语言信息;最后,通过重塑优化目标,提升生成语句的整体质量。为了演示和验证本文所提出的ICBVFMA模型,分别开展了两类实验:1)实验1,利用公开COCO caption测试数据集,将ICBVFMA模型的测试结果提交至COCO官方服务器进行测评,实验结果表明:ICBVFMA模型方法的CIDEr-D分值能达到1.225,BLEU-4分值可达0.336,ROUGE分值可达0.579,相较于其他基于注意力的图像描述生成方法取得了更优异的结果;2)实验2,利用自建船舶图像描述数据集进行实用性测试,实验结果表明:可以满足语义信息提取的要求,同时生成语句的质量也得到改善。(2)针对海洋船舶目标监管难题,面向无人值守下视频监控系统对船舶目标情报自动生成的应用需求,本论文提出一种基于ICBVFMA模型的船舶目标情报自动生成方法。首先,通过视频关键帧提取,去除视频流的冗余;第二,利用船舶目标识别网络,对关键帧中的船舶目标进行检测和识别;第三,利用ICBVFMA模型,生成关键帧中船舶目标的运动状态、周围场景等文本信息;最后,综合船舶目标识别结果、时间、空间、运动状态和场景等信息,实现船舶目标情报自动生成。为了演示和验证本文所提出的船舶目标情报自动生成方法,在嵌入式平台Jetson AGX Xavier上分别部署了视频关键帧提取模块、船舶目标识别网络、ICBVFMA模型,并且编写脚本文件将其集成到一块。实验结果表明:本文提出的船舶目标情报自动生成方法可以满足实时性、准确性和可靠性要求。综合利用Nginx、Pytorch、Flask等工具,设计并实现了基于船舶图像描述的视频监管原型平台。
其他文献
高校招生一头连着高等教育,一头连着基础教育,它采取何种方式、何种制度,至关紧要,必须慎之又慎。新中国成立后,我国高校招生制度经过分散与统一、考试与推荐的反复比较,1977
目的明确ALA-PDT疗法治疗特殊部位常见皮肤恶性肿瘤的痊愈率、显效率、总有效率,治疗过程中出现的不良反应及其发生率、治疗疗程及复发率。从疗效、不良反应、复发率、创伤性
目的探讨风湿性疾病患者抗中心粒细胞胞浆抗体(ANCA)的检出率及意义.方法间接免疫荧光法(IIF)检测ANCA,酶联免疫法(ELISA)检测抗蛋白酶3(PR3)抗体和抗髓过氧化物酶(MPO)抗体.
幼儿园虐童事件频发引发学界与社会高度关注。英国幼教服务供给市场建立了一套起点设防、过程监管、失信惩戒的运行机制,构筑了一套幼儿安全保障防范与治理体系:通过服务认证
<正>在公共治理领域,决策者和执行者的违纪违法、失策失职行为,会给国家和社会造成无可挽回的损失。其中,"无效工作"是一个隐形的但十分重要的方面。尽管还没有对特定对象取
维小卷蛾亚族Sycacanthae隶属于鳞翅目Lepidoptera卷蛾科Tortricidae新小卷蛾亚科Olethreutinae新小卷蛾族Olethreutini。本文对中国分布的维小卷蛾亚族昆虫进行了分类学研究,研究结果记录如下:1.鉴定与记述4属43种。4属:僧小卷蛾属Baburia、端小卷蛾属Phaecasiophora、维小卷蛾属Sycacantha和细小卷蛾属Psilacantha
枯草芽孢杆菌广泛存在于土壤和动物胃肠道。因其易于分离培养,具有较清晰的遗传背景和良好的分泌性,又无致病性等特点,已成为生物技术基础研究和应用研究中使用较多的重要菌种。
直埋热力管道跟传统方式铺设的热力管道比起来有着很多无法替代的优点,其中典型的优点有占地少、施工快、便于维护、使用寿命长等等。因此直埋管道在近年发展势头十分良好。但是,目前相关的研究和技术规程并没有完全跟上直埋管道的发展步伐。因此,对直埋热力管道的研究是十分必要的。本文以《城镇供热直埋蒸汽管道技术规程》作为规范,对大连科华热力管道有限公司生产的某型直埋热力管道在多种不同的工况下进行相关的分析。首先分
伴随着现代公司治理由“股东会中心主义”向“董事会中心主义”的逐渐过渡发展,董事对于公司经营管理决策的影响能力日益提升。对内董事经营管理决策权不断提升,对外则享有代
文中首先对物联网的技术进行了介绍,其次,详细分析了该技术在供应物联网的具体应用,希望能为我国的供应链管理带来促进作用,也希望给广大读者提供参考。