【摘 要】
:
视频理解任务的重要组成部分之一——视频时序动作检测,旨在预测动作的起止时间区间以及预测动作的类别,已经发展成一个十分有前景的学术研究和产业应用方向。虽然视频时序动作检测任务在视频推荐搜索以及智能监控等领域已经取得了不错的表现,但是在实际应用的过程中仍然存在不少问题以及可以提升的空间。本文重点关注弱监督时序动作检测以及融合语句查询的时序动作定位这两个相关任务,对于弱监督时序动作检测任务,不管是基于注
【基金项目】
:
国家自然科学基金面上的项目:面向地空视频的动作行为时空定位技术研究,项目编号:61976069; 国家重点研发计划项目(政府间国际科技创新合作重点专项)合作课题:面向智慧城市的地空一体化视频内容分析与挖掘,项目编号:2018YFE0118400;
论文部分内容阅读
视频理解任务的重要组成部分之一——视频时序动作检测,旨在预测动作的起止时间区间以及预测动作的类别,已经发展成一个十分有前景的学术研究和产业应用方向。虽然视频时序动作检测任务在视频推荐搜索以及智能监控等领域已经取得了不错的表现,但是在实际应用的过程中仍然存在不少问题以及可以提升的空间。本文重点关注弱监督时序动作检测以及融合语句查询的时序动作定位这两个相关任务,对于弱监督时序动作检测任务,不管是基于注意力的方法还是基于多实例学习的方法,都存在模型学习得到的特征质量限制检测性能提升的问题,另一方面,对于融合语句查询的时序动作定位任务,目前的主流方法大都是基于提案排序的方式,这种方式存在缺乏灵活性和性能较差的问题。因此针对上面两个任务的问题进行研究,目前取得的研究成果如下:首先,针对弱监督时序动作检测任务,提出一种基于对比学习的弱监督时序动作检测算法,以完成检测视频中所有动作发生的时间区间以及类别。该算法提出了一个具有两种对比学习的动作-背景分离框架,有助于提高特征分离的性能。动作-背景对比学习侧重于区分动作实例和非动作背景的特征。动作-前景对比学习的目标是通过建立动作实例和前景之间的双边关系,减少对区分性不高的时间区间进行错误判断的可能性,实验证明了采用对比学习机制能减少边界的误判率以及提升检测的准确率。同时,实验结果表明,该模型可以获得比当前弱监督方法和一些强监督方法性能更好的结果。其次,针对融合语句查询的时序动作定位任务,提出一种融合语句查询的无提案时序动作定位算法,以完成使用精确描述的查询语句唯一标识定位的动作。本算法引入了动态过滤器技术,利用查询语句的语义特征生成的条件过滤器对句子和视频特征进行跨模态交互,从而预测了每帧作为动作起止时刻的概率,并结合两者各自的峰值得到结果。实验结果表明,相对候选排序的算法,节省了提案排序的时间,提升了检测性能,同时不使用预定义的锚框,边界的精度也得到了有效提升。综合以上提到的两种算法,验证在实际生活中的应用效果,本课题设计并实现了视频时序动作检测原型系统,主要功能是能自动检测视频中的所有动作位置及类别和自定义查询语句定位视频中的某一动作。
其他文献
“无名”回忆录作品在全球掀起风潮。由于没有名人回忆录作者的光环,“无名”回忆录需要借鉴小说的叙述技巧来提升故事的吸引力。经典叙事学研究的中心对象为小说,其中以热奈特为代表的叙事学派主要的研究对象为叙述话语。而在经历了“经典向后经典”的转型之后,叙事学拓展了自己的研究范围,接纳了非虚构作品,同时开始走出文本走向文化语境。本论文以回忆录作品Wait for God to Notice节选部分的英汉翻译
风能、太阳能等清洁能源发电在总发电量中的比例越来越大,但这些能源在发电系统中存在着惯量低、随机性和间歇性等问题。微电网概念的引入找到了解决问题的新思路。但是,微电网的功率分配问题和不确定性能源接入电网造成电网波动以及接入电网以后的经济性问题仍然困扰着人们。本文在保证微电网的稳定的前提,对系统进行无功优化,然后考虑分布式能源的不确定性,采用多目标优化算法,提高了微电网的清洁性、经济性和风光出力的平稳
流利性是评估口译质量的重要标准。对于汉语是母语而英语是外语的译者,在进行汉英口译时较容易产生非流利现象。大量的前人研究多集中于同传领域,或是针对同一级别的学生译员。鉴于此,本研究旨在探讨在汉英交传领域不同级别的学生口译员可能会出现哪些非流利现象,同时探讨导致这些非流利现象的不同因素,并提出对应的策略。本论文首先分别对一组通过全国翻译专业资格水平三级考试的学生译员和一组通过全国翻译专业资格水平二级考
新能源汽车能够有效缓解传统汽车行业对化石燃料的严重依赖和全球所面临的环境问题,是未来发展的必然趋势.驱动电机作为新能源汽车的动力核心,不仅需要具有优异的磁性能提高能源转换效率,同时需要具有高强度来抵抗高速运转时的离心力.然而,无取向硅钢的强度和磁性能难以兼顾,因此无取向硅钢力、磁性能的协同调控是新能源汽车驱动电机发展过程中的一个关键科学问题.本文综述了国内外有关高强无取向硅钢力学性能和磁性能调控的
由于全球环境恶化和人类生活习惯不规律,癌症的发病率已经逐年上升,严重损害到人们的身心健康,急需对肿瘤的有效治疗手段。目前虽然有多种治疗肿瘤的方法,但手术治疗会产生多种并发症,放疗会引起放射性肺炎,化疗对正常细胞及器官组织也有损害。光热治疗就作为一种安全可靠且成本可控的肿瘤绿色疗法而出现,但为了避免光热治疗过度而急需一种非侵入式实时准确的温度测量手段。光声成像技术因为其高对比度和高空间分辨率且与温度
索引可以被视为将键映射到排序数组中记录位置的模型。随着数据量急剧增加,传统索引结构在面对海量数据的查询面临着严峻的挑战。本文使用深度学习模型替换现有的索引结构,称之为学习型索引。相较于B+tree等传统结构,深度学习技术在拟合数据分布,提高并行度方面有突出的优势。学习型索引在搜索时间上比B+tree效率更高,在内存占用上则占用更小的空间。但是,仅限于静态工作负载。针对学习型索引在动态工作负载上的可
先天性心脏病是最常见的胎儿出生缺陷疾病,对其胎儿期筛查可以早发现早治疗,减少并发症和降低死亡率。超声是筛查胎儿先天性心脏病最主要的医学影像手段,具有无辐射、可同时评估结构和血流情况等优势。近年来,随着人工智能技术的发展,基于深度学习进行胎儿心脏病筛查,可以学习优秀医生的诊疗经验,为先心病筛查提供辅助诊断,同时还可以缓解医疗资源分布不均衡等问题。本文研究基于深度学习的胎儿心脏病辅助诊断,主要包括胎儿
学习能力是核心素养发展的关键要素。本文从学习能力视角,厘定教学关键问题,制订评价指标体系,从作业的内容、形式、实施过程等方面探究作业优化设计:阶梯式作业,在任务进阶中培养积极的学习情感;听读型作业,在循环复现中培养良好的学习习惯;实践类作业,在问题解决中有效运用学习策略。
阵地进攻是篮球比赛的主体,阵地进攻的成功率反映了球队的进攻实力和战术素养。其中无球掩护配合是篮球比赛中重要的配合之一,是当今篮球发展趋势下必不可少的进攻手段。CUBA作为中国大学生篮球水平最高的赛事,许多球队存在阵地进攻成功率低、进攻出手不合理的问题;许多大学生球员对无球掩护配合的功能认知不清晰、使用不到位。因此本文希望通过研究探究大学生男子篮球比赛中无球掩护配合给阵地进攻带来的影响,帮助大学生球
随着互联网的日益普及,互联网已经成为广大人民获取新闻咨讯的主要途径。同时,社交媒体平台在使用上具有很大的便携性,使得任何一个使用互联网设备的用户在阅读资讯内容的同时,可以随意发表自己对事件的观点和感受,这造成了一个信息爆炸的局面,在社交媒体平台上每一分钟都有大量的信息发布,而且信息的传播速度极快,很快会被大量转发。在海量的信息中,包含大量的不实信息,这些不实信息带来的影响经常是负面的,给社会秩序和