【摘 要】
:
随着计算机技术和互联网的发展,视频正成为人们获取和交流信息的主要载体,其中视频监控越来越成为社会发展和人们生活不可或缺的一部分,如何使用计算机技术进行视频中的人类行为分析识别成为近年来的研究热点。本文在以光流信号为运动信息表征的传统双流卷积神经网络的基础上,提出以帧间差分图像序列作为时间流网络输入,运用Res Net-18网络结构建立双流网络模型实现视频中人体行为识别的方法。并对传统双流网络的数据
论文部分内容阅读
随着计算机技术和互联网的发展,视频正成为人们获取和交流信息的主要载体,其中视频监控越来越成为社会发展和人们生活不可或缺的一部分,如何使用计算机技术进行视频中的人类行为分析识别成为近年来的研究热点。本文在以光流信号为运动信息表征的传统双流卷积神经网络的基础上,提出以帧间差分图像序列作为时间流网络输入,运用Res Net-18网络结构建立双流网络模型实现视频中人体行为识别的方法。并对传统双流网络的数据提取方法进行了优化,保证了数据间的信息对应,同时,提出将Adam优化器与传统的高维特征分类可视化算法T-sne相结合对帧间差分的卷积特征进行分类可视化。本文主要研究如下:针对光流信号的提取需要大量计算资源和时间消耗从而影响传统双流卷积神经网络运行效率的情况,本文提出计算帧间差分图像序列来表征视频内的运动信息,并将其作为双流卷积神经网络中时间流网络的输入,同时,以灰度图像序列作为空间流网络输入减少样本数据量。本文建立小样本数据集并运用VGG结构建立双流网络对人体动作识别进行测试验证了差分图像作为网络输入的有效性。在此基础上,为了在大数据集上进行动作识别以及保证网络的高效性,双流卷积神经网络的时间流和空间流网络采用深度残差网络结构,同时对原视频数据的提取方式进行优化,提出了视频分段及段内取连续栈化块的方法,充分利用多帧视频,使双流网络能够在获得更多有效运动信息的同时保证了两个网络流输入帧之间的信息对应。在人体动作识别过程中,本文首先对帧间差分算法与光流信号在卷积神经网络中的应用进行了对比实验,分别从实时性、信息表征方面进行分析,证明在识别率相当的情况下,帧间差分算法的运算速度以及运算消耗远远优于光流信号,用帧间差分特征表征视频内的运动信息提高了双流网络识别算法的效率,可以在CPU级的条件下完成快速动作识别,并在此基础上,构建双流卷积神经网络进行人体动作识别。本文在数据集UCF101上,随机选取25个类别作为小样本UCF25数据集。为了验证帧间差分图像作为双流网络输入的可行性,在数据集UCF25上采用VGG网络结构用于训练和识别,并取得了非常好的结果。在此基础上,运用Res Net-18网络模型,通过迁移学习训练的方式在UCF101数据集上进行训练,在网络训练过程中采取了分步训练的方式,分别训练空间流网络和时间流网络,训练好的两个网络流通过均值融合进行两个网络流融合,实现了视频中人体动作的有效识别,具有较高的识别准确率。此外,本文提出将T-sne与Adam优化器结合提高T-sne收敛速度,并使用优化的T-sne对时间流卷积特征进行降维分类,取得良好的分类可视化结果,证明帧间差分特征经过卷积层后采样后能够有效表征运动信息。对于人机交互环境下人体动作实时识别,本文算法具有很高实用性。
其他文献
随着创新创业成为驱动经济发展的新引擎,众创空间顺理成章的成为了中国未来经济发展的重要实践载体,在去过剩产能、盘活城市存量不动产和为创新经济发展降低成本等方面发挥了巨大作用。近年来,政府不断推出一系列鼓励“大众创业,万众创新”的政策,全国各地创业热情高涨,陆陆续续建设了一大批众创空间。随着众创空间的深入发展,其中很多众创空间单纯靠“二房东”收租,缺乏可持久运营的商业模式难以维持生计,众创空间领域开始
在我国众多少数民族中,苗族是一个富有古老文明的民族,可以追溯到距今五六千年前的炎黄传说时代,在历史发展的过程中,优秀的民族文化得以保存,为民族文化创意产业的发展提供了取之不尽的宝贵资源。贵州黔东南是苗族人民最聚集的地方,近十几年在国家大力发展旅游业的政策下,贵州黔东南被更多外界人士知晓,丰富的苗族地域文化得到了广泛的传播。文化创意产品是指文化与创意结合创作出来的载体形式之一,在当今经济蓬勃发展的时
我国经济进入高速发展阶段,在居民的物质生活水平得到稳步提升的同时大众对于精神文化的需求也在不断增长。因此,能为大众提供集中性的文化娱乐产品体验及服务的建筑——城市文化综合体应运而生并逐渐融入大众的生活当中。在城市文化综合体内由个体经营的具有特色、风格、文化等特征,涵盖餐饮、画展、讲座、音乐、文创产品等为一体复合式经营的独立书店,满足消费者阅读、餐饮、逛游、休息等物质需求与精神需求相结合的多元化经营
当前人们对海洋资源的探索和开发与日俱增,水下机器人技术也随之飞速发展。为了更优越的性能,人们加大了对仿生机器人的研究,仿生机器海豚已成为当今的研究热点之一。机器海豚可以在许多领域发挥着重要的作用,比如资源探测、泄露检测、水质检测、军事探索和攻击等。目前多数的机器海豚是采用地面站进行控制运动的,但是现阶段水下无线通信技术多数存在着一定的延迟,难以实时传输数据和控制指令。为了使机器海豚能够自主游动,可
仿生系列智能机器人发展以来,主要分为陆地机器人、水下机器人和空中飞行无人机三大类。其中无人机与陆地机器人发展迅速,而水下机器人有几大研究所进行研究,并因在水下水质质量检测、水下空间构建、生态数据采集、军事信息传输等一系列工程应用得以加重关注。现有研究的水下仿生机器人推进方式主要以身体/尾鳍(body and/or Caudal Fin,BCF)和中央鳍/对鳍(Median and/or Paire
图像隐写术是多媒体安全领域中的一种常用技术,它主要通过对图像载体的像素值或DCT系数的轻微修改来嵌入秘密信息。随着图像隐写术的发展,隐写分析术的目的则是检测图像中是否存在秘密信息。隐写和隐写分析一直在对抗博弈中共同发展,基于最小失真框架的隐写和基于有监督学习的隐写分析成为主流的研究方法。为了提高隐写的安全性能,图像内容自适应隐写算法将修改集中到隐写分析器难以建模的纹理复杂区域。随着深度学习技术在图
二维码由于其成本低和使用方便等特性,得到了广泛应用。为了抵抗非法复制(Illegitimately-Copying,IC)攻击,现有的防复制二维码通过隐藏认证信息来提高其安全性,如最新提出的:2LQR二维码(Two-Level QR code)、LCAC二维码(Low-Cost Anti-Copying 2D barcode)和STAC二维码(Superimposed-Tag Anti-Copyi
随着高效的视频编码技术和计算机网络的普及,数字视频已经渗透到人们生活的方方面面。视频一方面作为娱乐产品丰富人们生活,另一方面在司法取证和公共安全中也扮演着重要的角色。视频处理技术的发展和视频编辑软件的涌现,使得普通用户轻易就可以完成视频内容的修改。不法分子通过篡改视频内容达到造谣、嫁祸他人目的的案例越来越多。因此视频原始性取证分析技术对个人权益和社会的稳定都具有重要的作用。本文针对视频原始性证实的
深度学习近年来得到了快速的发展,在计算机视觉,自然语言处理等众多领域有着优越的表现,催生了一系列智能产品的落地。而深度学习的本质是在大数据支撑下,由多层神经网络堆叠形成的信号处理系统,具有参数量大,计算复杂度高等特点,需要依靠高性能的服务器端来处理庞大的网络参数运算与更新。很多时候,出于响应时间、隐私方面和服务稳定性的考虑,更希望将这些网络模型放在移动终端上运行,而移动终端的运算资源及计算能力有限
模型压缩与优化是当下深度学习领域的研究热点之一,致力于解决深度神经网络(Deep Neural Network,DNN)模型过度冗余,参数过大导致的运算量或存储要求过高的问题。当前主流的基于低秩与稀疏分解的网络压缩方法没有整体考虑权重的这两种特性,忽略了它们之间的关联。其次,模型压缩涉及的超参数,如秩、稀疏度等的搜索空间极大,高度依赖领域专家经验进行选择。此外,在稀疏网络的学习中,网络连接结构与模