基于联合网络的驾驶员3D姿态估计

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:pangpang925
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
驾驶员姿态估计是人体姿态估计中的一个重要应用场景,在高级辅助驾驶系统中起着关键作用。作为一个中间层信息,驾驶员姿态估计可以帮助驾驶员状态检测系统识别驾驶员状态,判断驾驶员行为是否恰当且安全。一般来说,驾驶员3D姿态估计能够比2D姿态估计提供更多的信息。因此,驾驶员3D姿态估计成为了我们的研究方向。传统的人体姿态估计是基于可见光图像或深度图像,对于驾驶员姿态估计来说,可见光图像容易受到昼夜变化和环境等因素影响,难以在驾驶室内得到很好的应用。因此,我们选择To F相机来作为提供数据的传感器。To F相机能够同时捕获红外图像和深度图像,同时尺寸小巧、造价低廉,是适合车载系统的相机应用。在本文中,我们基于红外图像和从深度图像中转化来的点云数据,构建深度神经网络框架,充分利用红外图像和点云的特性,实现驾驶员3D姿态估计。本文具体研究内容如下:(1)提出了一种基于点云数据的3D人体姿态估计方法。设计了一个基于Point Net的深度神经网络,可以直接处理点云数据,进行3D人体姿态估计。对于现实场景下点云带有大量噪声的问题,我们采取了数据预处理和网络模块设计两种策略来解决。在驾驶员数据集和ITOP数据集上,通过实验验证了我们方法有不错的精确度。(2)提出了一种基于联合2D-3D网络的驾驶员3D姿态估计方法。为了充分利用To F相机捕获到的信息,设计了一个双分支网络,分别用两个单独的神经网络模块对红外图像和点云数据进行特征提取,之后再经由全连接层得到驾驶员3D姿态估计。为了满足现实场景下实时反馈的要求,我们采取了一系列措施来提高模型运行速度。相比于其他方法,实验表明我们的方法有更高的精确度。(3)提出了一种基于时间序列的驾驶员3D姿态估计方法。将联合2D-3D网络得到驾驶员3D姿态根据时间序列五帧一组构建数据集。设计一个基于循环神经网络的网络架构,进行驾驶员3D姿态估计的更正。通过实验表明,经过该模型处理后驾驶员估计精度比联合2D-3D网络结构更高,速度也能达到实时反馈的要求。
其他文献
农用车辆自动导航是实现精准农业的一项重要内容,而视觉导航技术具有成本低、准确度高、环境适应性强等特点。二者结合的农机视觉导航具有相当广阔的应用前景和发展潜力,但受复杂农业环境影响,农机视觉导航面临着如何有效提取路径、提高导航精度、准确识别田间障碍等亟待解决的问题。所以本文针对农机视觉导航中关键技术,一步步展开如下研究:(1)相机标定和畸变校正技术,建立单目视觉成像模型,使用张正友标定法和坐标系转换
随着全球人口及汽车保有量持续快速增长,交通机动化给人们带来便利的同时也带来了日益严重的交通拥堵问题,智能交通系统(Intelligent Transportation System,ITS)的出现可以优化道路交通,减少车辆饱和造成的经济和环境问题。多目标检测雷达作为ITS的眼睛,如何实时检测道路交通情况以便更好的控制车流成为国内外许多学者及机构的研究重点。本文以多目标检测雷达为研究对象,对调频连续
由于云计算资源按照即付即用的方式交付,越来越多的用户愿意在云上提交和执行众包任务应用。对于云提供商来说,在按照用户指定的服务质量需求执行多个众包应用时,如果私有云无法承担所有应用的计算任务,则云提供商需要将某些任务外包至公有云。本文围绕混合云环境下的众包任务调度问题展开研究。针对众包应用的特点,本文综合考虑多用户质量服务需求以及应用截止时间约束,首先构建了密集计算应用场景下众包任务调度问题的数学优
伴随着无线通信和定位技术的不断发展,以及移动终端设备的日益智能化,基于位置的服务(Location-based Service,LBS)得到了越来越广泛的应用。然而用户在享受LBS便利的同时也会不断暴露自己的位置信息,这使得位置隐私保护受到了越来越多的重视。本文重点研究基于位置服务的应用场景中,用户查询诸如医院等私密场所时的位置隐私保护算法,论文的主要研究工作如下:(1)在广泛跟踪和研究目前国内外
传统的被动毫米波成像大多采用机械扫描成像或相控阵扫描成像工作体制,往往具有采样时间较长或系统成本较高的缺点,限制了实际场所的大规模应用。为有效降低系统的采样复杂度和接收通道数,本文基于压缩感知理论,针对被动毫米波单像素压缩感知成像系统,围绕被动毫米波单像素成像系统中的编码矩阵设计、图像分块后重构质量的改善和不同图像块的采样方法等问题展开研究,主要工作内容包括:(1)基于压缩感知理论框架和被动毫米波
医疗图像分类是计算机辅助诊断领域的一个重要研究方向,该项技术通过处理医疗影像为医生提供辅助诊断意见,以提高诊断的准确率,从而帮助患者避免进行痛苦又耗时的病理分析。本文主要针对多模态脑瘤图像的分类问题展开研究。首先,本文认为现存的自然图像分类模型不能可靠地应用于脑瘤分类场景下,因为脑瘤在位置、形状、结构等方面具有不确定性,而且其核磁共振影像样本匮乏;其次,本文所研究的脑瘤数据包含多个模态(FLAIR
基于手机图像的人民币鉴伪方法的研究有助于维护人民币在国际上的声誉,保障我国金融安全,维护社会正常的经济秩序以及维护社会的稳定性,推进反假鉴伪工作,同时有助于人民币鉴伪在移动手机端的扩展,具有重要的研究意义和应用前景。本文基于手机人民币图像进行鉴伪技术研究与实现。具体工作如下:(1)建立了一个手机人民币图像真假数据集。通过对手机人民币图像鉴伪部位的分析,使用5种配置(三种手机四种分辨率,魅族16pl
雾霾中的目标识别、海底探测、水下成像、生物医学诊断以及酒水生产中的异物检测等实际应用场景中,均涉及浑浊介质中的目标检测问题。浑浊介质中散射粒子的后向散射导致目标信息被掩盖,目标检测、目标识别等工作的开展较为困难。本文将图像处理与偏振成像技术相结合,提出了基于偏振差分成像的浑浊介质中目标检测方法。首先,本文对基于偏振差分成像的浑浊介质中目标检测的研究背景及意义,以及国内外研究现状进行了分析。其次,阐
人脸肤质作为个人形象气质的重要表征,伴随着美容护肤意识逐渐深入人心,各种关于人脸肤质检测的产品也开始被市场接受。针对市场上主流的基于单一传感器的肤质检测仪功能较少的问题,以及功能完备的大型肤质检测设备成本高、体积大的问题,本文基于“硬件+软件”的思路设计了面向个人日常美容检测的肤质检测与评价系统,实现了对面部常见的肤色、油份、水份、纹理、毛孔、色素沉淀以及皮肤炎症7项肤质指标的准确检测与评价。首先
衍射光谱计算成像技术是计算光学成像的重要组成部分,在光学遥感领域具有重要的应用价值。不同于传统的成像光谱仪,衍射透镜成像光谱仪利用衍射光学元件同时实现色散和成像功能,具有光通量大、结构紧凑、性价比高、可凝视成像、易小型化、稳定性高等特点,发展前景广阔。但是在数据采集的过程中,准焦波段图像会受到其他离焦谱段图像的干扰使其变得模糊,如何从污染严重的光谱图像中恢复出清晰图像成了限制衍射光谱计算成像技术发