基于3D人体模型的遮挡行人重识别

来源 :浙江大学 | 被引量 : 0次 | 上传用户:wajohn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频监控系统的大量应用,基于图像的行人重识别具有重要的价值。在各种复杂环境下,尤其是遮挡环境下,进行行人重识别是一项充满挑战的任务。遮挡行人重识别任务面临的主要挑战是外部物体遮挡、人体自遮挡和身体各部分视角变化。有效地解决这些因素带来的问题,对于遮挡行人重识别任务而言,具有重要意义。论文介绍了基于传统方法提取的行人特征,如LBP、SIFT、LOMO等,也介绍了常用的基于深度学习提取的行人特征,如网格化的2D局部特征、身体部件的2D局部特征等,并进行了分析。论文将3D信息引入行人特征,通过3D人体表征网络获取3D姿态和人体外形参数,然后将3D姿态、人体外形参数和2D局部特征融合,得到3D局部特征。该局部特征不仅包含图像的视觉特征,还包含了人体的3D空间位置和体态特征。通过将3D局部特征经过图卷积特征融合网络进行基于人体骨骼邻接矩阵的关节点间的特征融合,论文将基于3D信息的行人特征用于遮挡环境下的行人重识别,并在Occluded-Duke数据集上进行实验,Rank-1达到58.7%,比经典的姿态引导特征对齐(Pose-Guided Feature Alignment,PGFA)网络提高了7.3%。论文提出了感知区域和感知区域掩码的概念。感知区域掩码用来表征人体在不同状态下的可见性,可用来编码遮挡和视角变化状态下的可见区域。论文提出了基于感知区域掩码的特征学习方法,该方法通过行人重识别训练过程中的弱监督学习得到可解释的区域化特征。该区域化特征隐含了感知区域信息,能有效应对遮挡和视角变化问题。论文还提出了基于感知区域掩码的特征匹配方法,不同于一般的行人特征匹配流程,该方法利用感知区域掩码将行人状态从行人特征中剥离出来,使得行人特征不受遮挡和视角变化等因素的影响。在特征匹配时,通过获取两张待匹配图像共有的感知区域掩码,利用加权的方法确定行人特征中用于匹配的共有部分特征。综合上述设计,并结合基于3D信息的行人特征,该方法在Occluded-Duke数据集上的Rank-1达到了61.4%,相比PGFA网络,提升了10%。
其他文献
我国每年新增几十万胃腺癌(Stomach Adenocarcinoma,STAD)确诊病例,给公共卫生系统造成很大负担。尽管目前对于STAD治疗手段有了很大的改进,但是STAD患者预后仍然很差,缺乏有效的预后标志物。本文基于生物信息学方法构建一个结构简单的预后模型,对预后模型的机制和分子功能进行探讨,并且应用样本病例和细胞实验对分析结果进行了一定的验证。研究结果如下:(1)胃腺癌预后潜在标志物的挖
金小蜂科Pteromalidae是一类体型较小的寄生蜂,可寄生昆虫纲大多数目,极少数寄生蜘蛛,同时可寄生卵、幼虫、蛹和成虫各个虫态。金小蜂可以用于防治农林害虫,在维持生态平衡方面作用明显。线粒体基因组遵从母系遗传,基因排列较为保守,进化速率快,同时线粒体基因组长度短,因此是研究系统发育的理想分子标记。金小蜂科种类多,内部系统发育关系复杂,但目前已测定的金小蜂科线粒体基因组仅2亚科7种。因此,测序与
室内场景下的三维重建技术是计算机视觉和计算机图形学研究中的重要研究内容。随着相机传感技术的发展,RGB-D相机在测量精度,分辨率等方面有了很大进步,如何利用RGB-D相机进行室内场景下的高精度三维重建也得到了研究人员越来越多的关注。然而目前大多数基于RGB-D相机的室内场景三维重建系统往往难以完整精确地重建较大规模的室内场景,并且很少利用室内场景下的场景结构信息做特定优化。基于上述问题,本文提出了
柑橘黑点病,也称砂皮病,是一种重要的柑橘真菌性病害,严重影响柑橘的品质,给果农造成重大经济损失。黑点病的致病菌为柑橘间座壳菌(Diaporthe citri),以田间枯枝病残体上产生的分生孢子为主要侵染源;果园生产过程中产生的大量枯枝既是可成为黑点病致病菌的繁殖基质材料,也是难以处置的重要、物污染废物。寻找既可以杀灭枯枝中滋生的黑点病病原真菌又可以加快枯枝降解的生防菌,在此基础上研发出制剂和田间处
球孢白僵菌(Beauveria bassiana)是广泛用于农林害虫生物防治的经典昆虫病原真菌。分生孢子在昆虫体表的附着是病原真菌通过表皮穿透感染昆虫寄主的关键步骤。附着成功的孢子在昆虫体壁上萌发,其芽管延伸为菌丝,通过分泌体壁降解酶和菌丝顶端附着胞渗透压力的共同作用而穿透体壁侵入血腔,并利用血液营养增殖,导致寄主最终僵死。在金龟子绿僵菌(Metarhizium anisopliae)中,分生孢子
像素级预测任务,包括语义分割、深度预测等任务,是计算机视觉领域的热门研究方向,被广泛应用在机器人导航、自动驾驶汽车及增强现实等实际应用中。目前,在基于卷积神经网络的方法中,用于逐像素预测的网络被编解码结构所统治。可以将编解码结构的网络分为两个部分,分别是编码器和解码器,其中编码器用于提取图像的语义信息并生成高维特征,解码器则利用编码器编码出的高维特征解码出所需的输出。由于编码器编码出的特征一般分辨
果园中化学农药的不合理使用,会造成水果品质下降、生态环境污染、传粉昆虫和自然天敌种群结构的破坏、害虫抗药性加剧等系列问题。基于此,生物防治日益成为国内外普遍认可的有推广意义的害虫防治方法。在生物防治中,人工释放的害虫天敌如赤眼蜂等在果树害虫生防领域已发挥重要作用,但人工释放的天敌昆虫在田间搜索能力弱,特别是在害虫低密度和复杂植被下难以找到寄主,如何提高天敌昆虫的定位、定向效率以更好地搜索寄主并防治
稻瘟病菌(Magnaporthe oryzae)是一种丝状植物致病真菌,能够在水稻生长发育各个阶段的各个部位发生侵染,从而造成水稻病害。稻瘟病菌具有典型的侵染循环,在自然界风和雨水的作用下,分生孢子落在植物表皮上,萌发出芽管,芽管尖端膨大分化形成附着胞。随着附着胞的成熟,它的细胞壁内侧将有黑色素沉积,从而使细胞内积累甘油等溶质、产生膨压,使得附着胞形成侵染钉以穿透植物表皮。侵染钉进入植物细胞后将分
随着社会经济不断发展,我国民生工程建设范围愈发广泛,水电站作为民生工程的关键项目,为工农业生产和居民生活用电提供了重要保障。为提高社会用电效率,在农村建立小型水电站(下文简称小水电)并引入配电网,从而丰富社会用电储备,成为备受关注的可行之策。鉴于农村小水电本身存在的局限,将其接入配电网后的电压控制以及电网运行安全程度都会受到影响。因此,分析农村小水电接入配电网后的电压控制与运行调整成为小型水
期刊
寄生蜂种类繁多、数目庞大,是重要的生物防治资源。其进化出多种编码免疫调节因子的毒液基因,以抵御寄主的免疫反应,这些因子靶向寄主细胞和体液免疫反应通路,且调控方式多样,包括阻断寄主免疫细胞信号传导、诱导免疫细胞死亡等。蝇蛹金小蜂Pachycrepoideus vindemiae属于蛹期外寄生蜂,能够寄生包括黑腹果蝇Drosophila melanogaster在内的多种蝇类。毒液作为该蜂唯一的寄生因