基于深度特征和姿态估计的多摄像头多目标跟踪研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:fdsa5218
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多摄像头多目标跟踪应用于自动驾驶、视频监控等多个领域,是当前学术界和工业界共同关注的热点。在复杂背景条件和目标遮挡等情况下,如何实现多个目标在多个摄像头下进行实时有效地跟踪,是一个具有挑战的问题。为了进一步提升跟踪鲁棒性和算法效率,本文就多目标跟踪中的姿态估计及其并行加速算法,跟踪中基于姿态的数据关联、多摄像头多目标中的轨迹特征设计与关联等问题展开研究。首先,提出了一种基于CUDA的并行多人姿态估计算法。该算法包含两个模块,第一个模块对冗余检测输入进行姿态提名,该模块使用对称STN网络中心化行人图片,采用SPPE网络进行单人姿态估计得到冗余姿态结果。第二个模块是基于CUDA的冗余姿态去除算法,首先设计了基于GPU平台的并行计算姿态距离计算算法,然后基于CUDA框架优化了非极大值抑制的计算流程,最后,设计了基于GPU平台的并行姿态融合算法,从而得到准确的多人姿态检测结果。在MOT15数据集上的实验结果表明,本文提出的算法能实时有效实现多人姿态提取。其次,提出一种基于多人姿态估计的在线多目标跟踪算法。该算法使用卡尔曼滤波作为跟踪器,使用二部图为跟踪与检测的实时关联问题进行建模与求解。针对行人的姿态估计能比通用检测更好地应对行人部位遮挡,漏检率更低,而姿态估计结果中又包含人体关节点信息,本文针对这些关节点设计卡尔曼滤波状态转移方程。同时,基于行人姿态信息和行人行走运动中的观察,设计了姿态距离、上身躯干边界框交并比作为关联线索进行实验,比较不同关联线索的性能。实验结果验证了提出的算法可以在遮挡和背景干扰时,对多个目标进行有效的跟踪,且具有较强的鲁棒性、实时性和准确性。最后,基于高速多目标跟踪,提出了一种利用深度特征进行全局关联的多摄像头多目标跟踪算法。该算法在稀疏场景下,使用目标检测输出的检测框运动信息进行多目标快速跟踪,有效减小生成初始轨迹的计算量。在轨迹中断和跨摄像头场景下,为轨迹设计基于时空约束的特征提取方案,使用行人再识别神经网络提取深度特征,使用最小费用网络流算法全局关联轨迹片段。NLPRMCT数据集上与同样采用最小费用网络流的算法比较结果验证了提出算法的有效性和实时性。
其他文献
二维码由于其成本低和使用方便等特性,得到了广泛应用。为了抵抗非法复制(Illegitimately-Copying,IC)攻击,现有的防复制二维码通过隐藏认证信息来提高其安全性,如最新提出的:2LQR二维码(Two-Level QR code)、LCAC二维码(Low-Cost Anti-Copying 2D barcode)和STAC二维码(Superimposed-Tag Anti-Copyi
随着高效的视频编码技术和计算机网络的普及,数字视频已经渗透到人们生活的方方面面。视频一方面作为娱乐产品丰富人们生活,另一方面在司法取证和公共安全中也扮演着重要的角色。视频处理技术的发展和视频编辑软件的涌现,使得普通用户轻易就可以完成视频内容的修改。不法分子通过篡改视频内容达到造谣、嫁祸他人目的的案例越来越多。因此视频原始性取证分析技术对个人权益和社会的稳定都具有重要的作用。本文针对视频原始性证实的
深度学习近年来得到了快速的发展,在计算机视觉,自然语言处理等众多领域有着优越的表现,催生了一系列智能产品的落地。而深度学习的本质是在大数据支撑下,由多层神经网络堆叠形成的信号处理系统,具有参数量大,计算复杂度高等特点,需要依靠高性能的服务器端来处理庞大的网络参数运算与更新。很多时候,出于响应时间、隐私方面和服务稳定性的考虑,更希望将这些网络模型放在移动终端上运行,而移动终端的运算资源及计算能力有限
模型压缩与优化是当下深度学习领域的研究热点之一,致力于解决深度神经网络(Deep Neural Network,DNN)模型过度冗余,参数过大导致的运算量或存储要求过高的问题。当前主流的基于低秩与稀疏分解的网络压缩方法没有整体考虑权重的这两种特性,忽略了它们之间的关联。其次,模型压缩涉及的超参数,如秩、稀疏度等的搜索空间极大,高度依赖领域专家经验进行选择。此外,在稀疏网络的学习中,网络连接结构与模
随着计算机技术和互联网的发展,视频正成为人们获取和交流信息的主要载体,其中视频监控越来越成为社会发展和人们生活不可或缺的一部分,如何使用计算机技术进行视频中的人类行为分析识别成为近年来的研究热点。本文在以光流信号为运动信息表征的传统双流卷积神经网络的基础上,提出以帧间差分图像序列作为时间流网络输入,运用Res Net-18网络结构建立双流网络模型实现视频中人体行为识别的方法。并对传统双流网络的数据
由于二维码独特的光学可见性,容易受到非法复制(Illegitimately-Copying,IC)的攻击。IC攻击不仅阻碍了二维码的推广使用,也对商家和用户造成了不可避免的经济损失。早期的防复制二维码主要利用特殊打印材料或特殊打印技术来设计的,导致了以下缺陷:生产成本高和通用性低。最近,有研究者通过分析非法信道特性,提出了新的防复制二维码,比如2LQR二维码(Two-Level QR Code)和
计算机视觉技术的快速发展为海量监控数据提供了多种自动化分析解决方案,就行人信息而言,现有的解决方案多是专注于目标检测、目标跟踪等低层算法,因此行人信息的分析方法仍待向中高层算法方向继续深入研究。由于行人的特性可通过年龄、性别、携带物等属性来推断,行人未来的意图能通过当前时刻的具体行为来预测,因此研究行人属性识别与行人异常行为分析对智慧安防等领域有着重要的意义。为了在真实监控场景下能更加鲁棒地提取出
新媒介消解了群体参与新兴文化塑造的壁垒,拓展了对日常现象的反思维度。其中,电子游戏作为新兴文化产业的翘楚,以惊人的爆发力迅速成为当下的潮流文化之一。但国内对其看法较为片面和保守,尤其是对电子游戏内涉及到暴力和死亡的场景,人们多表现出反感或排斥的态度。的确,不论是游戏结束(game over)或是所扮演的游戏内角色死去,“死亡”都是大部分电子游戏作品所无法回避的,但在角色扮演类电子游戏中,玩家可以通
深度卷积神经网络是计算机视觉领域非常有效的方法。海量增长的图像数据和日益普及的智能设备都要求快速、准确地理解图像的内容,并自动分割识别出图像中的目标物体。图像分割的任务是在给定的图像中检测出是否包含某类目标物体,并标注出图像中每个像素所属的对象类别,描绘出每个物体的边界,最终获得一幅具有像素语义标注的分割图。图像中目标物体的检测与分割对于计算机视觉的发展具有十分重要的意义,在实际的工程应用中也具有
卷积神经网络(Convolutional Neural Networks,CNN)以其强大的特征提取和表达能力,在计算机视觉任务中得到了广泛地应用。然而,由于CNN主要是利用局部感知特性进行特征提取,导致其全局感知能力较差,进而影响了提取特征的鲁棒性。近些年来,注意机制以其有效的全局感知特性,被成功地应用在自然语言处理和计算机视觉等领域。因此,如何将CNN的局部感知特性和注意机制的全局感知特性有效