基于Depth图像的多人检测追踪算法研究与实时监测系统开发

来源 :浙江大学 | 被引量 : 0次 | 上传用户:ggb1977
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络在计算机视觉各个领域都取得了日益提升的突破性进展,然而对于某些特定场景下的应用则仍然存在很多问题,比如隐私安全和硬件代价(包括算法框架中的数据存储和计算成本等),这些问题都对深度卷积神经网络在实际场景中的应用落地起到阻碍作用。在多目标检测领域,大量应用RGB数据的监控算法在光照不好的情况下性能会下降,同时还存在隐私泄漏风险。因此我们选择利用Depth图像进行研究,一方面可以更好地避免光照和天气变化等外部条件的影响,另一方面Depth图像只获取人体目标的外部深度特征,不会暴露面部容貌等信息,因而在越来越重视隐私保护的今天,更容易被大家所接受。除此之外,在如今这个万物进行移动端和微服务方向发展的趋势下,如何利用移动电子产品和端侧智能芯片有限的硬件资源进行算法的移植应用,也是一个重要的研究领域,所以我们采用模型轻量化的方式进行模型参数计算过程的优化,并且在算法部署到硬件开发板的过程中通过Tensor RT量化的方式进一步优化,使得整个监测系统可以平稳地运行在移动端开发板上。针对这些问题,本文在总结和评估现有各种多目标检测算法和追踪算法优缺点的基础上,着重研究采用Depth图像带来的优势及关键技术突破,而后对整个模型进行轻量化研究和量化加速,最终成功部署在硬件设备上。本文的研究内容和主要贡献如下:(1)提出了一种基于Depth图像特征的多人检测卷积神经网络。该算法只使用Depth图像特征,利用不同个体间外部轮廓的深度特征差异来进行目标检测任务,Depth图像不会受外部光照、温度等变化影响,在阴暗环境下依旧可以不受影响地完成既定任务,从而避免了RGB图像存在的受外部环境影响大的问题。而且TOF图像传感器所获得数据是单通道图像,只具有图像内部各视点距传感器的深度信息,很好地保护了监控目标群体的隐私。经多个数据集和现场验证,该算法可以出色地完成多人检测任务,且具有很高的鲁棒性和普适性。(2)提出了一种基于Depth图像特征的实时多目标追踪算法。想要完成实时监测任务,在通过多目标检测获得检测目标的位置信息后,需要利用实时多目标追踪算法来将轨迹与检测进行关联匹配。本文在研究过程中利用顶部视角的Depth图像来避免多物体之间的遮挡情况,可以减少原追踪算法中外观模型比对过程对匹配结果判定的影响,从而减少部分计算过程而不影响结果的正确性。并充分利用Depth图像单通道数据的优势,在实时多目标追踪算法中进一步降低整体算法的计算量,更好地完成了整个监测系统的研究设计。(3)为解决深度卷积神经网络算法所需的硬件存储资源和算力要求高的难题,本文进一步研究了一系列网络优化加速的方法。在完成不同轻量化方法对于Depth图像特征的适用性和高效性进行比较的基础上,选取其中的最佳方案进行深入研究设计,应用于本文提出的多人检测卷积神经网络中,更进一步采用INT8量化方案解决算法在硬件平台上的加速问题,最终将整个多目标实时监测系统成功部署到Nvidia Jetson Xavier开发板上,完成整个实时监测系统的开发。
其他文献
突如其来的新冠感染疫情似乎给正常的社会秩序以致命一击,打破了社会生产和生活的原有平衡,作为城市运转大动脉的公共交通亦难逃厄运,在严峻的疫情大环境重压之下遭受严重冲击。随着全民防疫意识的提高和管控策略的持续有效,整体疫情得到了良好的控制,复工大潮接踵而至,公共交通逐渐恢复正常运行,城市也渐渐复苏。然而,后疫情时期公共交通后遗症逐渐凸显:公共交通需求粘性黏性不高、回暖乏力,公交公司持续严重亏损、信心丧
学位
我国固体废弃物产量大,处置需求紧迫,废弃物焚烧处置是目前最有效的处置方式,焚烧技术主要包括循环流化床焚烧技术和炉排炉焚烧技术。当前,无论在高流速、高温高压的循环流化床焚烧炉还是大容量、大规模的炉排焚烧炉中,传统的热力计算和有限工况推理对现有大型工业固废燃烧处理系统的燃烧诊断仍存在泛化性差、时间延迟高等问题。本文基于新型图像算法建立了大型工业固废燃烧系统的实时诊断模型,提取并分析了焚烧炉火焰燃烧图像
学位
肝细胞癌(Hepatocellular carcinoma,HCC)是一种高异质性、高发病率和高死亡率的恶性肿瘤,基于HCC相关的分子特征建立分子分型方法,对改善患者预后具有重要意义。细胞焦亡和铁死亡作为两种新近发现的调节性细胞死亡方式,与HCC的发生、发展和治疗都密切相关,具有用于HCC分子分型的潜力。本文通过对大型肿瘤基因组数据库进行生物信息学分析,探究细胞焦亡和铁死亡用于HCC分子分型的潜力
学位
单细胞分析能够揭示细胞层面的生命活动机制,被广泛应用于生物学、药学和医学等生命科学领域。随着人类基因组计划的完成和下一代测序技术的发展,单细胞转录组学逐渐成为单细胞分析最常用的工具。近年来人工智能技术的发展,使得机器学习在单细胞转录组学中的应用受到了广泛关注,其主要分为面向测序数据的研究和面向生物学实体的研究。面向测序数据的研究处于单细胞分析的上游,为下游的面向生物学实体的研究提供数据质量保障,高
学位
电静液作动器与传统液压系统相比有着高功率密度、高集成度、高效率、易维护等一系列优势,是液压领域,尤其是航空液压领域未来的重要发展方向之一。针对电静液作动器由于高集成度所引发的散热面积小、局部易过热等热特性问题,本文分析了电静液作动器内部功率损失机理,建立了电静液作动器系统以及关键部件热特性仿真模型,设计了面向电静液作动器的数字孪生系统,并使用样机实验平台进行了实验验证。第一章:绪论。概述了使用数字
学位
随着全球经济的快速发展,世界能源市场面临深刻地变革。一方面传统化石能源造成的生态环境污染不可小觑,另一方面人类对于能源需求不断提高。在此背景下,大力发展新能源技术,完成能源转型是大势所趋。作为一种在广泛分布且存储量巨大的绿色能源,风能已经成为缓解人类能源危机的重要资源之一。近几年风电行业发展迅猛,全世界风机装机容量逐年上升。与此同时,由于风资源本身的间歇性、不稳定性和突变性,准确及时的超短期风资源
学位
近些年,随着人工智能和医学影像技术的快速发展,基于深度学习的智能医疗影像辅助诊断也取得亮眼成绩。在医学影像分类和分割任务中,一些深度学习方法已经取得媲美专业医生的水平。然而,由于不同医疗中心采集的数据之间存在域偏移问题,一个医疗中心(域)上训练的模型在另一个医疗中心(域)上精度下降,影响深度学习技术在临床中的应用。为了解决域偏移问题,研究人员提出了域适应方法,该方法旨在消除域偏移问题,利用源域数据
学位
癌症是一种死亡率极高且病因高度复杂的疾病,其高复杂性主要表现在肿瘤微环境中癌细胞和相关表型改变的非恶性细胞的克隆多样性。尽管目前用于治疗癌症的大多数药物是针对特定群体而开发,然而癌症的高复杂性会导致特定群体中的个体对同一药物有不同的敏感度。在癌症研究领域,精准医疗力求准确预测对个体患者有益的治疗方式,以实现更为精确和有效的基因靶向治疗。利用人类基因组学测序技术分析个体患者的肿瘤遗传信息,以对抗癌药
学位
现在是万物互联的时代,模数转换器(Analog to Digital Converter,ADC)是模拟信号转换为数字信号处理的必要工具。ADC目前广泛应用于生理信号检测、电源系统控制、高速通信、汽车信号检测等场景。ADC根据使用场景不同,有不同的性能要求,需要不同的ADC架构来实现。逐次逼近型(Successive-Approximation-Register,SAR)ADC是常用的ADC架构之
学位
AC-DC变换器作为快充技术的核心,广泛应用于各类便携式电子设备的适配器中,大功率、高效率、小型化是当前AC-DC变换器发展的主要趋势。传统反激变换器由于结构简单、成本较低,广泛应用于100W以下的中小功率输出等级的适配器中,然而由于漏感能量的耗散与功率管的硬开关,传统反激变换器效率较低且难以适应更高频的应用场景。有源箝位反激变换器能够实现漏感能量的有效回收以及降低开关管的开关损耗,在更大的功率等
学位