融合多路特征和注意力机制的强化学习关键帧提取算法

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:tongjm2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好的解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,
其他文献
针对实时语义分割方法中因忽略其本质所导致的分割精度不高问题,提出了一种多级上下文引导的轻量化网络。首先,将深度可分离卷积及非对称卷积相结合,设计了基于并行非对称卷积的上下文引导模型(CGPA)以学习局部特征及其周围上下文构成的联合特征;其次,将该模型堆叠于网络来实现特征的多级优化。最后,通过通道注意模型(CAM)筛选出与更高阶段语义一致的浅层特征,从而提高分割效果。实验结果表明,所提网络在City
期刊
针对基于控制点参数位置的自动色彩优化方法无法有效表达全局数据特征的问题,提出一种基于嵌入色彩的自适应色彩优化方法, 该方法包含色彩嵌入位置估计和嵌入色彩优化2个核心过程.首先基于色彩可辨别性以及数据分布选取合理的色彩嵌入位置,然后在固定色彩嵌入位置的基础上,建立能量优化方程求解最优嵌入色彩, 使其既满足视觉可辨别, 又能够尽量保证与原始色彩表的一致性.在此基础上, 开发了一个交互式数据可视探索系统
期刊
足球传球网络分析对提高球队的进攻效率起着重要作用. 然而, 大多数现有工作都将传球网络视为静态网络, 忽略了比赛过程中传球的时空演变. 该工作通过与领域专家的深入访谈总结了动态传球网络分析的重要任务, 并提出了一个交互式可视分析系统支持对传球网络的时空动态性进行全面分析. 该系统应用了基于图标的可视化方法和投影技术, 以呈现不同时间下的传球网络拓扑结构和传球空间上下文信息. 该系统可以辅助用户发现
期刊
金属有机聚合物结合了高分子的易加工性与金属的功能性,引起了人们的广泛关注.近年来,控制聚合物单体序列也成为高分子化学的研究热点.然而,有关序列可控金属有机聚合物的研究报道还很少.本文以二茂金属(二茂铁和二茂钌)为金属源,合成了二茂金属二烯单体与二茂金属改性的环辛烯单体,通过开环-插入-易位聚合制备了铁钌交替的序列可控金属有机聚合物.利用核磁共振谱、凝胶色谱、紫外光谱、差示扫描量热法、热重分析法、循
期刊
能源转型是中国如期实现碳中和、碳达峰目标的必然路径,也是缩小城乡居民能源消费差距、实现能源平等的关键举措。基于2013年和2017年的家庭追踪调查数据,运用基尼系数、局部加权回归以及逐步回归等方法,在揭示中国城乡家庭能源平等的时空特征、能源转型效果基础上,定量评价影响地区间、城乡间家庭能源平等的驱动因素。结果表明:(1)中国城乡家庭的能源消费水平总体呈明显不平等特征,但随着能源转型政策实施以及城乡
期刊
随着人类空间活动的快速发展,地球低轨航天器数量迅速增长,近地空间变得愈发拥挤.因此,亟需采取有效措施预报低轨航天器的运行轨迹,以避免卫星碰撞等事件的发生.热层大气对航天器的拖曳作用,是造成其轨道衰减的重要原因.然而,由于热层数值模式存在诸多不确定性参数,以及太阳和地磁活动等外部驱动难以预测等多种因素,热层大气预报误差会随时间的增加而快速增大.对热层大气的可靠预报仍是空间天气领域的难题之一.本研究开
期刊
在行人重识别领域,如何快速在一个新城市进行行人重识别系统的部署为行人重识别领域带来了巨大的挑战。一般情况下,在新城市中没有足够的标注数据来训练一个强大的行人重识别模型,只能依赖少量由目击者提供的罪犯照片。首次对该实际应用场景进行正式研究,将其定义为跨领域小样本行人重识别问题,并仔细讨论分析其与现有行人重识别场景的异同。随后,提出一种基于影响函数的样本权重法来指导模型的训练,并在三个公开数据集Mar
期刊
目标跟踪是计算机视觉方向上的一项重要课题,其中尺度变化,形变和旋转是目前跟踪领域较难解决的问题。针对以上跟踪中所面临的具有挑战性的问题,基于已有的孪生网络算法,提出多层特征融合和并行自注意力的孪生网络目标跟踪算法(MPSiamRPN)。首先,用修改后的ResNet50网络对模板图片和搜索图片进行特征提取,为处理网络过深而导致目标部分特征丢失,提出多层特征融合模块(Multi-layer featu
期刊
海藻酸盐是一类存在于褐藻中的线性亲水多糖,由D-甘露糖醛酸(M)和L-古洛糖醛酸(G)以不同比例的重复单元组成.它是用于水凝胶合成的天然生物材料之一,通过简单的离子交联,即可与Ca~(2+)等多价无机阳离子发生“蛋盒反应”,形成水凝胶.海藻酸盐骨架上存在大量–OH和–COOH极性基团,通过化学或物理方法对其进行修饰,使其可以在温度、pH、光等刺激的响应下实现细胞或生物活性分子的可控释放.目前组织再
期刊
多机器人系统是一个结构复杂的团体,为了实现机器人之间的高效合作,必须解决机器人间的信息交互问题,提出将无线局域网的多机器人系统与轮询系统结合的MAC(Multiple Access Control)协议。首先,研究MAC协议中PCF(Point Coordination Function)访问机制,建立轮询系统模型,将该模型应用于多机器人集中式体系架构中,并对其数据传输方式进行分析;推导了门限、完
期刊