基于穿戴相机视频的跨视角多目标关联和交互检测方法

来源 :天津大学 | 被引量 : 0次 | 上传用户:mir80
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,移动相机技术取得快速发展,类型多样的移动相机,如手机相机,Gopro等,为目标行为分析、场景内容理解等提供了丰富的信息来源。此外,传统的视频监控任务往往采用单个相机获取视频,导致相机覆盖范围有限,无法全面获取场景信息。相比于单一视角的固定相机,穿戴式相机可以自由移动从而具有更加灵活便捷的优势,为视频监控提供了更多的可能性。对此,本文试图利用多个可移动相机,提供互补的视角来更好地捕获场景中的人物交互和群体行为。对于上述问题,如何更准确地检测群体行为活动高度依赖于不同穿戴式相机所采集的多个视频之间有效的协同分析。然而,由于不同摄像机之间的视角关系随时间不断变化,而且每个视频中都会出现人物之间的相互遮挡,因此对多视频协同分析造成了新的挑战。本文聚焦如何利用多个穿戴式相机协同分析识别多人场景中的交互行为,具体包括以下三个任务:(i)跨视角多目标身份重识别;(ii)密集人群场景目标交互行为时空检测,包括该活动的发生时间范围与所涉及目标;(iii)所发生交互行为的类别识别。针对上述任务,我们将每段视频表示为图结构(图的节点表示视频中出现的人),并设计了端到端的图卷积神经网络来同时完成上述三个任务,其中利用图匹配网络完成两视频中相同的人物的关联,利用图推理网络检测出人与人之间的交互行为。为此,我们建立了针对上述任务的大规模视频数据集,包含五种多视角人人交互动作,为本文的研究提供了测试评估基准。通过大量的实验分析验证了本文提出方法的有效性和优越性,同时,各项消融实验也验证了每个模块的必要性。
其他文献
代码克隆的存在对软件系统的可维护性产生了很多负面影响,语义克隆是指语法上不同但仍然执行相同功能的代码,在过去提出的各种检测代码克隆的方法中很少能对语义克隆进行检测。语义克隆检测是一个复杂的过程,因为源代码的语法和语义很灵活,因此选取合适的源代码中间表示对整个代码克隆检测过程至关重要。在常用的语义克隆检测的中间表示中token、AST、图较为常见。但是token携带的词汇信息对于语义克隆检测任务来说
学位
随着无线通信技术的发展和移动设备的广泛使用,移动社交网络大量兴起。移动社交网络中移动用户具有较高的移动性,网络拓扑结构高度动态,导致移动社交网络中数据转发效率较低。因此,如何高效、快速地转发数据成为移动社交网络的一个关键问题。目前的研究中,社区检测是解决移动社交网络中的路由问题的一种有效方法。以社区为单位进行消息转发可以在一定程度上优化路由策略的性能。然而现有方法在进行社区检测时,往往会忽略社区出
学位
基础隔震技术在目前的结构分析和设计过程中,对于冲击性较强的近断层地震作用考虑甚少,特别是竖向分量考虑更少。通过选取1999年台湾集集地震中,含有完整水平与竖向地震分量的近断层记录、远场地震记录以及断层附近非脉冲型地震记录作为地震输入,分析基础隔震结构在近断层水平-竖向地震分量共同作用下的动力响应,以及隔震支座的受力状态。结果表明,脉冲型近断层地震波对中长周期隔震结构的影响较大,最大速度脉冲周期对基
期刊
在互联网飞速发展的大数据时代,为了提供个性化的服务,越来越多的产品需要通过采集用户的数据来提高服务质量,但同时也带来了隐私泄露的风险。种种案例表明在用户数据的发布和使用过程中要实现隐私保护需要采取技术手段干预。实现隐私保护的常用技术手段有K-匿名隐私保护和差分隐私保护,本文将分别对这两种隐私保护技术进行研究。K-匿名隐私保护主要使用数据泛化的技术来实现,其中KACA(KAnonymity by C
学位
近年来,多智能体深度强化学习受到了越来越多的关注,包括合作式任务或对抗式任务在内的很多现实场景下的任务都可以自然的建模为多智能体系统任务。如何高效的提升多智能体之间的合作或对抗策略是多智能体领域的一个极具挑战性的问题。其中通过优化集中式评论家网络的网络结构以增强其价值函数的表达能力,是解决该问题的一个有效方式之一。针对集中式训练分布式执行学习范式下的多智能体强化学习算法,近阶段提出了很多对多智能体
学位
空冷凝汽器支架结构是一类特殊的工业建筑。主要针对该类建筑的结构形式,采用隔震技术,即在每个管柱的下方设置铅芯橡胶隔震支座,采用SAP 2000分析软件对原结构和隔震结构的地震响应进行比较分析。结果表明,隔震支座改善了结构的抗震性能,隔震技术对于这种结构体系具有很好的实际应用前景。
期刊
肺癌是一种全球性的高危疾病,是导致人类死亡的恶性疾病之一。目前大多数基于深度学习的医疗图像分割技术在对模糊干扰区域(即类似肿瘤外观的非肿瘤区域以及与肿瘤外形不相似但属于肿瘤的区域)分割时表现不佳。因此本文提出了具有抗干扰特性的U型网络(Distraction-Sensitive U-Net,DSU-Net)来解决此类问题。DSU-Net是一个级联的网络结构,两个阶段的基准网络均为U-Net。Sta
学位
近年来随着计算机硬件支持能力的提高和机器学习研究的深入,深度神经网络在图像识别领域的能力已极大提升,甚至在某些情境能超越人类的图像识别表现。但随着网络层数的加深和参数的增多,复杂深度神经网络很容易在训练数据域内过拟合,当使用和训练集相差很大的数据集测试网络性能时,效果通常不是很理想。而人类对于新类型的图像识别任务的快速适应能力仍处于不败之地。因此,如何提高图像识别网络的泛化能力成了目前该领域中亟待
学位
竹园污水处理厂四期工程为新建120万m~3/d的污水处理设施及配套污泥设施,工程分为50万m~3/d和70万m~3/d两个厂区,为达到提高工程质量、缩短工期、减少环境影响等工程目标,同时突出技术创新的目的,工程中两个厂区生物反应池的缺氧区段采用了不同形式的预制装配技术。对工程中不同形式的预制装配技术进行介绍,并利用BIM技术对预制装配式结构从设计到施工进行全过程模拟,从工程的运输、吊装、受力体系以
期刊
<正>自然资源部是我国生态文明建设的主责部门之一。2018年,党中央从建设生态文明是中华民族永续发展的千年大计出发,组建自然资源部,统一行使全民所有自然资源资产所有者职责,统一行使所有国土空间用途管制和生态保护修复职责。自然资源部坚决贯彻落实党中央、国务院做好碳达峰碳中和工作的决策部署,着力从“严守资源安全底线,优化国土空间格局,促进绿色低碳发展,维护资源资产权益”工作职责出发,实施了一系列新举措
期刊