基于分阶段注意时序对齐和度量优化的少样本动作识别

来源 :江苏大学 | 被引量 : 0次 | 上传用户:zhouj1790
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来互联网的发展和视频录像数量的指数级增长,作为视频理解领域的基础任务,视频行为动作识别在视频监控、人机交互、视频检索等方面有着重要应用。当前使用深度学习的大多数视频行为动作识别方法都需要大量的标注数据作为支撑,然而现实世界中由于拍摄难度、收集标注成本和隐私伦理等原因,部分类别的数据往往难以大量获取和标注,因此少样本动作识别具有重要的应用价值。本文首先介绍了少样本动作识别的研究背景和现状;其次对少样本动作识别的相关领域和方法进行了详细介绍,包括动作识别、元学习、少样本学习等。针对时序对齐时范围宽泛并可能出现阶段级别的时序错配、视频片段特征对之间距离度量不准确等问题,本文在将视频分阶段的基础上,从时序对齐和度量优化两个角度,分别提出基于分阶段注意时序对齐的少样本动作识别模型、基于跨阶段三元组距离度量的少样本动作识别模型。并基于以上模型,设计实现少样本动作识别原型系统。本文主要研究工作如下:(1)针对目前视频动作片段时序对齐范围过于宽泛,未能保持对齐时视频进展阶段的时序先于偏序关系的问题,提出基于分阶段注意时序对齐的少样本动作识别方法。该方法中各阶段的视频片段的对齐只在相邻阶段的相关片段内进行,以避免阶段级别的时序错配,并使得位于不同阶段的多注意力模块能够集中注意到视频动作不同阶段的特定特征,从而更合理地实现视频片段的时序对齐,进而可提高少样本动作识别的准确性。该方法网络结构简单,模型参数少,是一种轻量级的方法。将所提出的方法与相关新近方法进行了相关数据集的实验比较分析,结果表明所提出方法能有效提升少样本动作识别的准确率。(2)针对同一视频的片段特征之间空间差异较小导致的距离度量不显著的问题,提出基于跨阶段三元组距离度量的少样本动作识别方法。该方法设计了深度学习的方式计算视频片段特征之间的距离度量,避免了固定距离度量方式的局限性,进一步挖掘利用了视频片段特征中的信息以形成有效的距离度量。进而,在当前阶段和相邻阶段中分别选取视频片段特征组成三元组,并建立损失函数,期望相同时序阶段的视频片段特征对距离减小,不同时序阶段的视频片段特征对距离增大,从而使距离度量器更专注于时序差异,提升距离度量的显著性和有效性。在相关数据集上的实验表明,该方法优于新近的相关方法,同时进一步提高了少样本动作识别的准确率。(3)设计实现了基于分阶段注意时序对齐和度量优化的少样本动作识别原型系统,该系统采用Python语言、深度学习框架Py Torch,图形界面开发框架Py Qt以及相应的基础框架实现,包括模型训练、样本集选择和动作识别三个模块。该系统界面直观友好,实施轻量便捷,交互体验较好,验证了所提出少样本动作识别方法的可用性。
其他文献
<正>利用生活化模式开展社区家庭教育课程教学,能够把家庭教育课程学习与生活相联系,有效激发家长的学习兴趣,是提高家庭教育课程教学有效性的基本途径。教师要加强生活化教学内容的设计,注重创设生活情境进行教学,引导家长进行生活体验,加强对家长生活化学习策略的指导,促进家庭教育课程教学有效性的提升。
期刊
时代在发展,社会在进步。当前国际社会的交往与联系日渐紧密,世界各国前途命运休戚与共。以习近平同志为核心的党中央深入探寻社会发展规律、立足人类发展全局,提出了人类命运共同体理念,这一理念为应对全球性挑战、化解各种国际分歧、处理热点问题、改善全球治理提供了中国方案。第一部分是绪论内容。绪论部分主要交代了论文的选题背景、撰写本次论文的目的以及研究意义。通过查阅有关书籍、阅读相关文献等方式了解国内外专家学
学位
菠萝(Ananas comosus)因其风味独特、富含营养而成为全球消费最多的水果之一。在过去十年中,消费者对菠萝的需求持续增加,促进了其产量的大幅提高。然而,菠萝的高水分含量(81-86%)不利于其长期保存,易发生腐烂变质现象,造成资源巨大浪费。此外,由于菠萝是一种季节性水果,因此迫切需要延长其保质期、提升其产品附加值的方法。干燥是最古老、最传统的果蔬加工技术。传统的热风干燥应用广泛,但干燥速率
学位
黑麦(Secale cereale)作为小麦的近缘亲属,蕴藏着丰富的遗传变异。利用远缘杂交和染色体工程技术,将黑麦中的优良基因导入小麦,对于改良普通小麦产量、农艺性状、品质特性、抗病性以及抗逆性等具有重要意义。因此,不断挖掘和利用黑麦中的有益基因,有利于进一步拓宽小麦的遗传基础。本研究以普通小麦扬麦23与巴基斯坦黑麦W2A远缘杂交后代的衍生系JS016为研究对象,利用分子细胞遗传学手段确定JS01
学位
心血管疾病和呼吸系统疾病已经成为危害人类生命健康最严重的病种之一,国内外发病率也不断攀升。在心血管疾病和呼吸系统疾病的早期及时进行疾病干预是最有效的手段,而心肺音听诊是及时发现这些病症的有效手段,且心肺音听诊相较其他手段拥有更快捷、更安全、成本低等优点,然而目前听诊只能由专业的医生实施,导致人们不能及时发现自身的问题并及时就医。本文利用深度学习技术和声音处理技术分析心肺音听诊信号,并开发较为准确高
学位
诚信是个人的立身之本,“诚”是道德的基础以及一切事业得以成功的保障,“信”是个人形象的标志以及应该具备的品质。习近平总书记指出:“社会主义核心价值观是当代中国精神的集中体现,凝结着全体人民共同的价值追求”。诚信价值观作为社会主义核心价值观个人层面的范畴之一,是人们交往生活的纽带,是市场经济发展的基石,是社会文明进步的标志。青年的价值取向决定着未来整个社会的价值取向,大学生是未来坚持和发展中国特色社
学位
人体胃肠道中分布着数量众多的微生物,它们包含有约100倍于人类自身的基因数目的基因,涉及营养代谢、外源物和药物代谢、抗菌、免疫调节、胃肠屏障维稳和修复等多种功能,这使其与宿主疾病健康状态密切相关。肠道菌群的功能行使,与肠道菌群内和菌种与宿主间的互作密不可分,因此,研究肠道微生物菌种间、肠道菌群与宿主间潜在相互作用,对解析相互作用机制,确定疾病与菌群因果关联,寻找相关疾病临床干预治疗的靶点具有重要意
学位
新时代是具有新的思想文化的时代,要坚定文化自信,首先要加强思想政治教育工作。思想政治教育工作是新时期高校开展各项工作的生命线和智慧线,加强高校思想政治教育工作保障体系研究对于高校营造良好的思想政治教育环境、促进未来社会人才的高效培养和高素质发展具有重要现实意义。新时期高等教育的现代化改革给高校的思政教育工作也带来了新的机遇与挑战。因此,为了解决当前高校思想政治教育工作的困境,必须以人的全面发展学说
学位
近年来,逐渐普及的视频监控在改善社会治安、提高城市交通资源利用率等方面发挥了重要作用。并且随着部署成本的降低以及人们安全意识的提高,家庭监控系统也逐渐成为常见的安防设备。但大量视频通过网络传输并存储,也带来了隐私泄漏风险,生活中因视频隐私信息泄漏而引发的案件也并不少见。目前视频隐私保护研究主要以感兴趣区域检测和保护为核心。本文主要以视频感兴趣区域保护为切入点,分别研究独立编码和结合编码的视频ROI
学位
啤酒是一种古老的酒精饮料,被世界各地的许多人饮用。中国是世界上最大的啤酒生产国和消费国,其次是美国。流行病学研究表明,适量饮用啤酒有益于健康。这些发现是由于抗氧化、抗炎和高生物利用度以及与非酒精成分相关的其他益生元效应的结果。啤酒中含有酚类化合物、类黑素、硒、维生素等抗氧化剂和矿物质,同时也含有氨基酸。人们对啤酒的各种加工和贮藏技术进行了大量的研究。然而,已经发现这些加工技术会通过外部环境的变化给
学位