视频实例级人体解析的研究与应用

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xuguai19811025
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
5G时代的来临将进一步促进短视频的蓬勃发展,以人为主体的短视频创作走进大众的生活。视频实例级人体解析技术可以获得视频中人各个身体部位的实例分割信息,利用这些信息可以更方便地创作短视频。对于视频实例级人体解析任务而言,目前常用方法有两种:第一种方法使用逐帧处理,该方法简单有效,但不能处理运动模糊等问题;第二种使用连续帧作为输入,该方法模型较大,速度较慢。为解决上诉两种方法的不足,本文将当前帧获得的空间特征和前k帧获得的时序特征统一到一个网络中,提出多帧传播网络(Multi Frame Propagation Net,MFPNet)解决视频实例级人体解析任务。主要贡献如下。第一,提出空间压缩激励模块(Position-Squeeze-and-Excitation,P-SE)和全局注意力模块(Global Attention Module,GAM)。P-SE是将压缩激励模块(Squeeze-and-Excitation,SE)的思想用到空间位置上,它能学习到一组空间注意力图,该图表征了身体部位的关联程度。GAM则是将SE和P-SE联合到一起,该模块能提取到全局的结构化特征。进一步,提出基于视频当前帧的人体解析注意力网络(Human Parsing Attention Net,HPANet)。第二,提出传播模块来获取视频帧之间的时序特征。该模块由3D卷积和卷积型门控循环单元(Convolutional Gated Recurrent Unit,ConvGRU)组成。3D卷积能更好地获取连续帧之间的时空特征,ConvGRU则进一步获取时序特征。传播模块和HPANet共同组成MFPNet。相比于其他主流方法,MFPNet在视频实例级人体解析数据集(Video Instance-level Parsing,VIP)上取得了 更好的性能。
其他文献
直驱式风力发电系统以其结构简单、能量转换利用率高、支持并网等优点在风力发电行业中得到广泛应用。然而,当电网因为故障而发生电压跌落时,风电机组需要继续并网不脱网运行,因此,在电网故障期间,研究如何实现将直流母线侧积攒的多余能量泄放出去对风力发电系统的安全运行具有重要意义。本文以直驱式风力发电机为研究对象,基于永磁同步风力发电系统的架构和数学模型,分别提出了电网对称故障跌落和不对称故障跌落下直驱式风力
伴随着经济全球化浪潮,国外著名建工企业相对我国建工企业在市场竞争中显得更加自信而从容,虽然我国企业在科技、硬件、资金等方面都具有竞争力,但国际著名企业高度系统化、成熟化的VI设计还是对我国建工企业的竞争力造成负面影响。于是,国内一些建工企业套用西方成熟的模板化品牌视觉形象设计,对自己进行简单粗陋的“包装”,VI设计不但没有提升企业自身的形象价值,反而进一步加大了同质化问题,导致在国内市场中“趋同”
人类创造了城市,城市又在深刻地影响着人类的生存与心理。城市对各类社会资源的负荷能力有一定的限度,因此随着当今社会经济的迅速发展,它会伴随出现一定的社会问题,影响着人类的生存。同时,在迅速展开的城市化进程中,人类也出现了大量的精神与心理问题。艺术家生活在城市这样一个大熔炉里,他们有着强烈的使命感和责任感,希望通过作品引起大众对这些问题的关注。笔者在城市街景创作过程中,受到莫里斯·郁特里罗、爱德华·霍
响水县位于盐城北大门,东临黄海、北枕灌河,运河穿城而过,地理位置独特,水资源丰富。全县党风廉政建设坚持抓"廉政响水"创建,树"灵水廉歌"品牌,为全县实现"双先"目标提供了有
学位
2012年在党的十八大报告中首次提出了要坚定中国特色社会主义制度自信,制度自信为中国特色社会主义现代化的实现提供了切实的保障。在邓小平的带领下,中国发生了翻天覆地的变化,取得了举世瞩目的成就。研究邓小平的制度自信思想对于我们坚定中国特色社会主义制度自信,推动各项制度的不断完善,从而实现社会主义现代化具有极其重要的意义。邓小平制度自信思想的形成有着深刻的国际和国内背景。其制度自信思想的理论来源有马克
功率控制作为无线通信网络的基础支撑技术之一,可以有效提高系统的性能。利用功率控制技术,移动用户能够以最小的发射功率来满足系统的通信质量要求,达到节约无线资源和提高资源利用率的目的。随着无线通信网络的规模不断扩大,数据流量快速增长,信道资源有限的问题日益突出,其中与功率控制密切相关的问题也逐渐引起研究重视。一方面,基于反馈的系统需要反馈信道状态信息,不仅占用了大量的频谱资源,还会增加开销和复杂度;另
当前在义务教育阶段学校,校园伤害事故的频繁发生,导致校方与未成年学生监护人之间的矛盾也不断增加。未成年人的心智身体机能不成熟,需要特别的照顾和保护。根据最大限度和最大程度保护儿童合法权益的原则,校园伤害发生后,往往校方会被判定承担较多责任。学校为了尽量减少校园伤害事故发生,会故意减少一些有风险的课程和活动。在这情况下,学生伤害事故确实会减少,除了书本知识,学生的其他素质能力也跟着下降。教育要全面发
县域郊区位于县城建成区与外围农业区腹地之间,它兼具城市与乡村的基本特征,是城乡相互包含的地域,是一种土地利用、社会和人口特征发生变化的过度地带。这一地带在中国分部
在遥感领域中,高光谱图像处理多年来始终占据着至关重要的位置,而在高光谱领域中,高光谱图像分类又是其中最为热门的话题。高光谱图像因其光谱波段数多,包含的地物信息丰富而被广泛地应用于包括农业,军事,环境监测在内的众多领域,对人类社会的发展有着极为重要的现实意义。自遥感技术诞生以来,更高的光谱分辨率一直是各国研究者所努力的目标,光谱图像也经历了从多光谱到高光谱的演变。从开始时十几波段到后来的几十波段再到