自注意力机制和随机森林回归的视频摘要生成

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:kingwaaaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
是通过生成关键帧或片段来达到压缩视频的效果,能够在概括视频主要内容的基础上极大缩短观看时间,在视频快速浏览与检索领域应用广泛。现有方法大多只基于图像内容进行探索,忽略了视频具有时序的特点且模型对波动数据学习能力较差,导致生成的摘要缺乏时间连贯性和代表性。我们提出了一个以编码器-解码器为框架的视频摘要网络。具体来说,编码部分由卷积神经网络提取特征,通过自注意力机制提升对关键特征的权重,而解码部分由融合了随机森林的双向长短期记忆网络构成,通过调整随机森林和双向长短期记忆网络在损失函数中所占比例,使模型具
其他文献
为了提高天文观测的效率,需要对夜间地基光学天文观测中薄云的识别和影响程度评估的算法进行研究。首先,经过分析云对地基光学天文观测的影响和传统地基云图的算法,我们选取大视场地基光学天文设备GWAC的图像进行研究。接着,通过GWAC图像的灰度分布等特性的对比分析,我们选取模糊C均值聚类(FCM)算法处理受薄云影响的GWAC图像。然后,应用FCM算法,通过重复多组实验,选定合适的聚类层次数、迭代次数和平滑
期刊
由单视角图像重建三维人体姿态时,深度信息的缺失与姿态的多样性,使二维姿态映射到三维姿态时易出现朝向错误、细节姿态处理不佳等问题。为此,结合立体人体模型的骨骼及顶点分布规律,以优化模型变形策略为核心,提出多特征点匹配的三维姿态重建方法。方法的核心是以优化能量函数的方式将多个二维人体特征点与人体模型三维特征点匹配拟合,实现三维姿态的重建,通过利用部分关节点建立朝向约束项来降低深度信息缺失对重建姿态的影
期刊
雾天环境下拍摄图像时,雾、霾等介质导致图像模糊、对比度低、色彩暗淡。本文结合大气散射模型与偏振光原理,实现了利用斯托克斯参数获取亮度最大和亮度最小的双角度偏振图像,并通过新提出的四分图像暗通道均值比较法,准确估计出了场景中无穷远处大气光强值,最终实现将有雾图像恢复到无雾图像。在薄雾和浓雾环境下均取得了较好的实验结果,在两种环境下图像NRSS和平均梯度均有较大提升。
期刊
针对目前的Deeplab v3+模型进行图像语义分割时部分细节损失严重,存在漏分割、误分割现象,故在其算法基础上构建了新的语义分割模型N-Deeplab v3+。新模型设计异感受野拼接的空洞空间金字塔池化结构,增强各层级信息间相关性;增设多次跨层特征融合,提升图像细节的表征力;构建基于注意力机制的特征对齐模块,引导高低级特征对齐并有针对性地强化重要通道特征的学习,提升模型学习能力。在Citysca
期刊
本文展示了一款可应用于土壤学领域研究的简易流动电位测量装置。为验证该装置的可行性,采用石英砂和包铁石英砂模拟土体所具有的多孔结构和表面电荷特征,基于流动电位法测量了石英砂在不同浓度(0.01、0.05、0.1、0.5、1.0、2.0和5.0 mmol·L~(-1))NaCl溶液中的zeta电位和石英砂与包铁石英砂在不同pH(4.4、5.2、6.1、6.6、6.9、7.7和8.0)电解质溶液中的ze
期刊
在光场计算成像中,场景深度重建问题被转化为视差重建问题。本文引入YCbCr颜色空间光场数据,实现基于光场数据单体化的高效视差重建。在Y通道进行区域匹配,避免RGB三通道匹配的冗余计算,提高匹配效率。在CbCr通道进行单体化,实现单体边缘去遮挡和内部视差一致性约束,解决遮挡区域和平滑区域的误匹配问题。CbCr色度信息为单体化提供了有效聚类信息,本文结合区域生长和二分法实现单体的精准分割。在单体边缘,
期刊
提取青铜器铭文图像的有效特征是进行铭文识别的关键步骤,针对以图像为信息载体的铭文特征提取方法,出现的特征维度高、特征向量复杂而导致识别准确度低的问题,提出了一种基于拓扑与网格双特征的铭文图形集成学习识别方法。通过以图形为铭文特征的表征,提取拓扑特征7维文字结构图形特征,有效描述铭文文字的结构信息。在此基础上,利用降维后铭文全局和局部结构信息的8维四方向弹性网格特征,以此解决提取铭文图像特征而导致的
期刊
复杂环境下军事目标检测技术是提高战场态势生成、分析能力的基础和关键。针对军事目标检测任务,在复杂环境下传统检测算法的检测性能较低,为此提出一种基于改进YOLOv3的军事目标检测算法,通过深度学习实现复杂环境下军事目标的自动检测。构建军事目标图像数据集,为各类目标检测算法提供测试环境;在网络结构上通过引入可形变卷积改进的ResNet50-D残差网络作为特征提取网络,提高网络对形变目标的检测精度和速度
期刊
为满足角盒类零件型腔特征识别需求,提出了一种改进图匹配的型腔特征自动识别方法。分析了角盒类零件型腔特征,提取特征简化模型的共性模板属性。获取模型栅格高度点云数据,以高度中值作为阈值将其转换为0-1特征值矩阵,提取型腔面投影特征值以分离识别型腔壁边面。采用共性模板面邻接属性判定搜索型腔侧壁面,最终识别出包含底板面集、壁边面集与侧壁面集的完整型腔加工特征。实例验证结果表明,采用本方法识别角盒类零件型腔
期刊
现有的良性阵发性位置性眩晕视频眼震图分类算法中存在以下不足:人工提取的特征主观性和局限性强;眼球的轴向转动特征提取困难;仅能区分正常人群和患者,或对简单的眼震进行分类。针对上述问题,本文提出一种基于注意力机制的视频眼震图分类算法。以轻量级模型3D MobileNetV2为基础网络进行特征提取,在全局细节特征、时空信息丰富的网络低层引入全局时空注意力模块,融合眼球震颤空间信息和帧间时序信息;在网络高
期刊