基于传播匹配和记忆模块的半监督视频目标分割方法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:doudouhuijia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
半监督视频目标分割任务在视频数据广泛生成的趋势下成为了计算机视觉的研究热点,能够帮助研究人员自动将视频序列中所关心的目标分割出来,提升后续任务的效率,并且已广泛的应用在自动驾驶、视频编辑和视频监控等领域中。但由于视频数据的复杂性,半监督视频目标分割依然面临着遮挡、目标外观变化、相似目标等挑战问题,现有的方法无法鲁棒地面对多个困难场景。为此本文从两个角度提出了不同的解决方法,并通过大量实验对所提出方法进行验证。本文的主要研究工作及创新点如下:1.针对基于传播的方法能对目标平滑地传播但无法适应遮挡、快速移动等场景,而基于匹配的方法能在不同时刻根据目标外观相似度进行匹配但较难适应目标外观变化的问题,提出了一种结合传播和匹配的双分支模型。其中结合指引的传播模块通过结合第一帧和前一帧的特征信息,充分利用目标指引进行传播。而在全局匹配模块中提出一种动态更新的方式尽可能存储过去所有帧的信息,从而更好地适应目标外观的变化。在公开数据集上的实验结果表明该模型在精度和效率上都超过了大多数现有的方法,并得到了较好的结果。2.针对已有基于记忆机制的方法在处理长视频数据时会随着时间线性增加计算成本的问题,提出了一种基于自适应记忆模块的级联半监督视频目标分割方法。该方法通过一个自适应的记忆模块来避免线性增长,从而适用在长视频数据上。为了进一步提升模型的效率和精度,首先利用从跟踪到分割的级联网络来减少图像分辨率大小,提升后续分割模型的效率,接着添加一个边界预测分支来辅助模型从而提高分割结果的精度。该方法也在公开数据集上的实验结果表明了不仅在记忆机制方法的基础上提升了精度,还具有更高的效率,并且不会随着时间增加计算消耗。
其他文献
随着计算机辅助医疗越来越受到关注,得以应用,各种计算机辅助医疗的手段与方法更是层出不穷,然而大部分的方法只是应用在了西医上,对于中医这一领域的涉足则相对较少,因此,在中医诊断中舌诊方面与计算机技术相结合的案例也有待于丰富发展。舌诊作为中医行之有效的一种特色诊断方法,从古至今一直在临床实践中发挥着重要作用。舌诊的理论知识并不复杂,但中医医生在学习和实践中以理论模型为基本依据,以图像辨识为基本技能,通
学位
近年来,以深度卷积神经网络为代表的深度学习算法在图像识别、检测、分割领域取得了令人瞩目的效果。在医学影像病灶分割任务中,以U-Net为代表的全卷积神经网络在脑、肝、心脏、肾等多个部位以及超声图像、磁共振图像等多种形式影像上取得了接近乃至超过人类专家的性能,但是其仍受限于依赖大量的高质量图像-标签对、难以应用于缺少含病灶图像场景、缺乏可解释性以及泛化性能差等问题无法很好地应用于实际临床场景。本文通过
学位
在机器人技术中,获得一套稳定的动态控制方法显得尤为重要。非线性系统的控制被认为是控制工程中的重要研究课题,控制器必须很好地处理存在在控制系统中的非线性和不确定特征,然而,对非线性和不确定特征进行数学建模的困难阻碍了高性能控制器的发展,而人工神经网络具有多种智能功能,如自学习和自适应,因此,许多研究人员开始将重心转移到神经网络控制器的开发中,许多可以获得快速收敛和动态响应的控制器已经被开发出来。在神
学位
情感分析(Sentiment Analysis)一直以来都是自然语言处理(Natural Language Processing,简称NLP)领域的重要问题。而在深度学习领域,尽管对于一般的情感分析问题,已经有了比较优秀的解决方法,但中文复杂长句情感分析问题还远未得到很好的解决。由于复杂长句句子长且句子情感具有转折、递进等变化,使得基于深度学习的方法难以有效学习长句情感变化。这是在复杂长句情感分析
学位
预算执行关系到财政收支政策的贯彻落实,关系到财政资金的使用效率。对事业单位而言,是否做好预算执行工作,是否能够在科学预算方法的指导下,落实预算编制,并对其进行严格,是非常关键的问题。基于此,文章以“事业单位预算执行的困境及对策”为研究对象,从多个角度对这一话题进行论述,以期相关研究内容能够为广大工作人员提供参考。
期刊
近年来,我国水产养殖业的产值与规模发展迅速,养殖方式也日趋丰富,但其自动化和智能化水平还有待提高。研究表明,被动声学技术对水产养殖业有着重要的理论价值和工程应用价值。因此,本文以鲍鱼为例,在海洋生物发声、鲍鱼养殖等方面进行了大量的文献调研,采集并分析鲍鱼摄食期间的发声信号,对信号进行增强、识别工作,设计了基于声信号处理的水产生物行为监测系统。主要工作如下:(1)介绍了水产生物行为监测系统的总体结构
学位
<正>福建省委网信办深入贯彻落实中央组织部、中央网信办《互联网企业党建工作双提升三年行动计划》,不断提升互联网企业党的组织和工作覆盖、着力提升互联网企业党组织政治功能和组织功能,以高质量党建引领互联网企业高质量发展。截至2022年12月底,全省“三有”(有固定经营场所、有一定数量职工、有生产经营活动)互联网企业党组织覆盖率为84.6%,较2021年提高6.1%,网龙、美图、四三九九等5家互联网企业
期刊
随着营商环境的改善,推动商业银行发放信用贷款是完善中小投资者权益保护,解决企业融资难融资贵的主要突破口。商业银行信用贷款是指不要求商业银行的借款人提供资产担保,仅仅依据商业银行对借款人的了解对其提供资金扶持,帮助企业走出融资困境,盘活市场经济。国务院常务会议指出要确保信用贷款的比例稳步增长,提升信用贷款在商业银行日常经营业务中的比重。本文通过梳理商业银行信用贷款发展现状,并指出商业银行信用贷款现存
期刊
在以市场化为导向的金融业改革和发展趋势下,商业银行面临着日趋激烈的市场竞争。市场竞争作为银行业重要的外部坏境,影响着银行的利润空间和经营行为,也必然关乎银行的风险水平。与此同时,非存款负债近年来备受银行青睐,在银行总负债中的比重逐步上升。因此,本文研究的主要问题是我国商业银行市场竞争对银行风险会有怎样的影响?非存款负债在其中扮演怎样的角色?银行市场竞争是否会通过负债端中非存款负债渠道影响银行风险呢
学位
深度神经网络以其强大的表征能力,已成为人工智能发展的核心技术之一。对网络模型精度的提升需求和移动设备的应用表明优化神经网络的性能有重大研究意义。传统方法采用注意力机制增强特征知识或者利用不同模型之间的特征知识迁移来提升模型性能,忽略了预训练网络中隐含的特征知识能够指导网络结构调整的优势。轻量级神经网络的结构设计主要考虑对卷积操作本身进行重构,将所有层的卷积核设为相同大小。这种设置忽略了不同深度以及
学位