基于时空建模和注意力机制的视频行人重识别研究

来源 :常州大学 | 被引量 : 0次 | 上传用户:gardeeen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能产业、智慧城市的兴起,行人重识别应用领域也急剧增加,包括智能安防、大型公共场所(如迪士尼乐园、火车站、展览馆)智能寻人、智能商业广场、无人超市等等。目前视频行人重识别任务的主要问题和挑战集中于:低效的数据标注以及数据分布变化等原因导致视频行人重识别训练集不足;实际复杂生活场景中,行人遮挡或视角差异引起行人外观变化、室内室外光线差异和背景环境不同以及未能充分挖掘行人数据的局部细节和全局信息而导致数据集训练的效率不高。本文针对这些问题,提出了基于时空建模和注意力机制的视频行人重识别方法,主要研究工作如下:(1)提出了联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法。首先针对目标行人被错位遮挡或干扰的情况,提出了均等采样随机擦除的方法来充分地处理遮挡问题,增强模型的鲁棒性,更准确地匹配行人;其次为了提高视频行人重识别的精度,学习更有判别力的特征表示,使用3D卷积神经网络提取时空特征,并在网络输出行人特征表示前加上全局时间特征池化层,这样既能获取上下文的空间信息,又能细化帧与帧之间的时序信息。(2)提出了融合非局部注意力模块和联合损失度量函数的视频行人重识别方法。具体地说,在工作(1)的基础上,在3D卷积神经网络中添加非局部注意力模块,该模块能够关联视频帧与帧间长距离的信息,建立一定距离的像素间的联系,从局部和全局上进一步丰富行人特征表示,提取出视频级特征,将视频特征嵌入到多个特征级别表示中;然后利用三元组损失、标签平滑正则化的交叉熵损失和在线软挖掘类感知注意损失的联合损失函数进行模型度量学习,使得同一标签类对象在嵌入空间上计算的距离比较近,不同标签类的对象之间的距离则比较远,进一步提高视频行人重识别的精度。(3)在视频行人重识别公开数据集:PRID-2011、Duke MTMC-Video Re ID和MARS上对所提的基于时序建模和注意力机制方法进行验证,实验结果表明:联合均等采样随机擦除和全局时间特征池化的方法能有效地提取具有判别力的行人特征表示,且有效缓解遮挡问题,在PRID-2011上,Rank-1达到了95.5%,m AP达到了97.0%;在Duke MTMC-Video Re ID上,Rank-1达到了93.6%,m AP达到了92.8%;在MARS上,Rank-1达到了86.1%,m AP达到了80.5%。融合非局部注意力模块和联合损失函数使网络能够考虑不同帧和不同空间位置,用全局片段信息丰富局部图像特征,再使用联合损失度量函数的方法计算特征之间的相似性,有效地区分相同的行人和不同的行人,再次提高识别精度。在Duke MTMC-Video Re ID上,Rank-1达到了96.2%,m AP达到了95.4%;在MARS上,Rank-1达到了88.9%,m AP达到了83.9%。由此,所提两种方法,相比于目前一些先进的视频行人重识别方法,具有一定的竞争力。
其他文献
氯氧镁水泥(MOC)是一种由活性MgO、MgCl2和水按照不同摩尔比混合搅拌制备而成的气硬性凝胶材料。因优良性能被广发应用。但耐水性差也是制约其发展的重要缺点。本文从制备整体疏水性氯氧镁水泥的线路着手,希望通过减缓水侵蚀氯氧镁水泥的速度进一步增加其耐久性,并研究了改性剂对其疏水性、抗压强度等其他工程性能的影响。主要研究内容如下:在含有H2O2和H3PO4的MgCl2溶液中预共水解正硅酸四乙酯(TE
目的探讨血液中同型半胱氨酸(HCY)、超氧化物歧化酶(SOD)和D-二聚体的水平及联合检测对静脉血栓栓塞症(VTE)的诊断价值。方法选取住院期间新发VTE者和同期住院期间无VTE发生者各512例及同期健康体检者499例,分别检测样本中HCY、SOD和D-D水平,使用ROC曲线确定此3项结果诊断VTE的临界值并评价其诊断效能。结果 (1)VTE组HCY、SOD和D-D水平分别为(24.08±12.1
高血压综合征是妊娠期常见的严重并发症,对孕妇和胎儿会造成严重危害。妊娠期妇女情绪通常不稳定且会承受巨大的心理压力,负面情绪会导致病情加重,不利于疾病的诊治。当前,社交平台已渗透进生活的方方面面,微信具有较高的用户粘合度,是休闲娱乐的重要平台。因此,基于微信平台健康教育功能对于妊娠高血压综合症健康教育的应用研究具有重要价值。
目的探讨利用微信平台实施健康教育对老年髋部脆性骨折患者预后的影响。方法采用方便取样法选取石家庄市第三医院2019年6月—2020年9月收治的老年髋部脆性骨折患者100例作为研究对象,其中以2019年6—12月收治的46例患者作为对照组,实施常规出院健康宣教、院外随访等;以2020年1—9月收治的54例患者作为实验组,利用微信平台实施健康教育。2组在相同频次情况下均干预3个月。观察比较2组髋关节功能
运动平台下的目标检测与跟踪技术在无人机巡查、自动驾驶等应用领域发挥着重要的作用,具有很高的研究价值。在机载平台、无人车等运动场景中,拍摄所得的视频序列,不仅包含所需的目标运动信息,还会包含背景运动的信息,而背景运动信息的存在会增加检测的难度,难以确保目标检测的准确性。目标跟踪方面,需要一个鲁棒性好且能够对目标进行长时间跟踪的算法。针对目标检测的问题,本文完成了动态背景的运动补偿,对补偿后的视频序列
正压通气是目前治疗阻塞性睡眠呼吸暂停(Obstructive Sleep Apnea,OSA)最有效的手段,而目前国内自主研发的治疗机存在无法准确提前预警呼吸异常的状况,这对患者的睡眠呼吸监测治疗效果产生了极大影响。本文为提高治疗机实时准确预警性能,以人体连续正压通气呼吸为研究对象,采用压力、流量集成传感器检测呼吸波形,结合信号处理技术,针对预警的实时性和准确性,分别对呼吸波形动态实时预测和呼吸事
目的探究基于微信平台下健康教育模式在行冠脉介入术患者中的应用效果。方法选取2019年5月—2020年4月期间73例行冠脉介入术患者开展研究,采用随机化分组法,划分对照组(n=36,常规健康教育模式)和观察组(n=37,基于微信平台下健康教育模式),比较两组健康知识知晓度、依从性评分、自护能力评分以及心理状态。结果干预后,观察组饮食、用药、活动、检查指导的知晓度评分高于对照组,差异有统计学意义(P
如今,导电高分子复合材料(CPCs)由于其独特的性能,在能源、光电子器件、传感器、分子导线等领域有着广泛的应用。然而,传统聚合物主链为非共轭结构,其电导率极低。通过在聚合物基体中添加导电填料,可以有效改善聚合物复合材料的导电特性。但过量的导电填料不仅会造成生产成本上升,还会造成力学性能下降。本论文采用三元共混的策略,以聚酰胺酰亚胺(PAI)为基体,利用不同导电填料之间的协同相互作用,制备并表征了三
我国运动休闲特色小镇体育产业集群市场目前还处于起步阶段。对运动休闲特色小镇体育产业集群发展情况的调查发现,小镇体育产业集群发展存在着条件尚不完全成熟、基础设施不够完备、产业结构不均衡、体育赛事产生的集群效益水平不高、政策体系和服务平台有待完善、专业人才严重不足等问题。提出建议:制定符合市场规律的体育产业集群规划;发挥政府职能,注重体育产业市场集群发展规律;推出核心体育赛事;推动体育产业集群中企业可
由瓦斯泄漏引起的爆炸事故一直是煤矿领域中亟需解决的问题,众多学者也采取了许多相应措施,如采用瓦斯浓度监测、抽放技术和超细水雾抑爆技术等。为了有效提高超细水雾抑爆效率,本文自行搭建甲烷抑爆实验平台,分别进行二氧化碳,七氟丙烷、超细水雾、七氟丙烷/二氧化碳混合气体和混合气体与超细水雾抑爆研究,以爆炸超压,火焰传播速度和火焰传播结构等参数的变化为分析依据,最终得到七氟丙烷/二氧化碳混合气体与超细水雾协同