基于深度神经网络的人脸去反射与单样本目标检测研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:letmesee_lw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于玻璃特殊的光学性质,日常生活中透过玻璃拍摄的照片通常会被反射遮挡,从而影响信息的获取,如何去除反射并恢复图像被遮挡的信息成为一个亟需解决且富有挑战性的任务。由于照片的首要关注点是人脸,所以带有反射的人脸图像会给观众带来更大的困扰。近年来,在具备丰富标记数据的前提下,基于深度学习的目标检测器取得了较好的性能表现。然而,数据标注通常是昂贵且耗时的。因此,能够从一个标记样本中学习一个泛化模型的one-shot学习亟需被引入到目标检测中。本文提出了一种基于彩色(RGB)和近红外(NIR)图像多光谱融合的人脸反射去除网络,称为人脸反射去除网络(FRRN)。由于可见光(380-780 nm)和近红外(780-2526 nm)的光谱波段不同,近红外相机对可见光不敏感,因此近红外图像受可见光反射的影响较小,从而很好地保留了图像的结构信息用于指导RGB图像去反射的复原过程。FRRN由一个编码器(上下文编码器(CE))和两个解码器(NIR推理解码器(NID)和图像推理解码器(IID))组成。CE编码器在抑制稀疏反射分量的同时,从浅层到深层捕捉场景信息上的特征。NID解码器推断近红外图像的信息以便在多尺度上指导反射去除,而IID解码器则在NID解码器的指导下推断透射层(背景层)的信息。此外,我们还提出了基于Laplacian卷积和SE残差块的反射置信生成模块(RCGM)来表示反射去除区域内的反射置信度。鉴于目前没有适用于训练FRRN网络的公开数据集,我们使用JAI AD-130GE相机构建了一个包含人脸图像和反射层(RGB和NIR图像)的大规模训练数据集及其相应的测试数据集。实验结果表明,FRRN在视觉质量和指标测量方面优于当前最好的反射去除方法。许多基于深度学习的视觉任务(包括人脸去反射)都面临着数据集匮乏的难题,因此,如何从有限的数据集中训练得到一个泛化性良好的模型成为了亟待解决的问题。而单样本目标检测任务为该问题提供了一个可行的解法。在本文中,我们提出了一种基于多自适应对齐的单样本目标检测网络,通过更有效的特征表达,从单样本中提取特征。该框架基于Faster-RCNN,利用孪生卷积网络分别提取索引图像和目标图像的特征表示,然后通过聚合索引特征和目标特征生成融合特征图用于最终的分类和定位任务。该框架通过分层对齐和聚合对齐自适应地混淆不同层次的特征,从而学习目标图像和索引图像之间的本质关联。实验结果表明,在MS-COCO数据集上,该方法将不可见类目标检测的准确率从24.3 AP50提高到26.2 AP50。
其他文献
互联网内容和设备的快速增长以及云计算和大数据处理技术的飞速发展,使得传统网络愈发不能满足用户对灵活路由的需求。软件定义网络(Software-defined net-working,SDN)通过将控制平面和转发平面分离,给网络带来了可编程的特性,实现了路由自定义和网络自配置。SDN主要由应用平面、控制平面和转发平面三部分组成,控制平面由一定数量的控制器构成,控制平面和转发平面需要进行大量的通信以控
学位
人脸表情识别在医疗、教育、游戏、辅助驾驶等领域都体现出了重要价值。近些年不断有新的算法、模型和训练技术被提出,而且已经面向应用场景开发了人脸表情识别系统。本文面向校园安防特定应用场景中安管人员的实际需求:在一些对安全保密性要求更高、闲杂人等不可轻易进出的场所进行人员安全程度的快速度量,将表情作为评价因素对人员安全度进行度量,作为从情绪角度提供安全度的一个探索。实验室中的人脸表情识别模型实现了97%
学位
随着现代产业链的发展,企业建立自己的采购管理仓库,并通过信息化技术进行采购仓储管理工作,能有效降低企业对第三方的依赖,保证企业供应链安全。企业采购仓储管理对系统安全提出了更高的要求,但采购过程中订单数量不大,人员相对固定,区块链技术在提高系统安全性的同时能够满足企业采购仓储管理服务的基本性能需求。本文设计并实现了基于区块链的仓储管理云平台系统。结合区块链的特性,为保证仓储管理系统的安全性,设计了一
学位
随着航天技术的发展,人们对整流罩内的环境要求也越来越高,而保障其环境质量的主要手段之一是通过整流罩空调对进风参数进行控制。目前主流的空调控制方法是常规PID(比例积分微分)控制与模糊PID控制,但整流罩空调不同于其它空调,它对控制系统的准确性、稳定性、快速性要求极高,这两种算法由于自身的缺陷,很难满足整流罩空调的控制要求。PID控制需要精确的系统模型,但整流罩空调是具有时变性、滞后性和强耦合性的非
学位
随着信息技术的发展,我国需要对农业的发展进行转变和改革。目前大力推动农业方面的信息化建设已成为我国发展的重要任务,这也是实现农村现代化较为重要的一步。网络中的数据以爆炸性增长,为了从海量数据中获取目标数据,搜索引擎应运而生,当前搜索引擎是人们快速获取信息的主要工具。搜索引擎的搜索结果匹配度又极其依赖于使用的分词方法,分词能力越好会得到更高匹配度的结果,同时高匹配度会大大缩短用户获取目标信息的时间。
学位
近年来,随着深度神经网络和传感器技术的发展,自动驾驶成为了人们的研究热点。环境感知模块是整个无人驾驶系统的关键,其输出的精确度直接影响着下游模块,例如规划、决策和定位。为了提高自动驾驶系统环境感知的性能与可靠性并降低成本,相机-激光雷达感知融合技术受到了越来越多的研究者的关注。然而,激光雷达获取的点云深度图是不规则的无序的,这极大地制约了3D感知技术。为了解决上述问题,稀疏深度补全任务被提了出来,
学位
随着近年来计算机领域的迅速发展,电子战在现代战争中的战略地位也日益重要,因此运用计算机实现作战仿真系统也逐渐被军队所使用。将武器装备通过计算机进行建模并构建作战仿真系统不仅能够快速推演作战方案,对验证武器装备可行性、组织作训人员进行模拟训练,提升作战经验等都具有很大的帮助。本文设计了基于组件化建模的水下仿真控制演练系统,该系统总体上采用标准化、层次化、模块化方法,各个功能模块之间低耦合,便于维护和
学位
随着计算机技术和传感器技术的快速发展,红外图像以其具有的夜视范围广、抗干扰能力强、可全天候工作等优势,被广泛应用于军事和民用等领域。红外图像目标检测作为现代红外系统的核心技术,一直是图像处理领域的重要研究内容。近年来,随着深度学习技术在图像处理领域取得的卓越研究进展,有效推动了红外图像目标检测技术的发展。在诸多深度学习目标检测算法中,基于Anchor的回归型目标检测算法是经典算法之一,它可以直接将
学位
随着深度学习的不断发展,神经网络,尤其是卷积神经网络已经广泛应用于各种计算机视觉任务中,与此同时,在传感器技术飞速发展的背景下,多类型传感器已经部署到大量应用中,比如视频监控和自动驾驶技术。因此,本文研究了基于CNN和小波变换的低光照图像增强算法,同时提出了一种基于多传感器协同和CNN的视频编码新范式。本文的主要贡献如下:1.在低光照条件下拍摄的图像动态范围较窄,色调较暗,信噪比低,而且图像中所含
学位
在现代无线通信和雷达系统中,电磁波前赋形具有重要的应用价值和研究意义,通过波束赋形技术可以实现特定的远场方向图来满足实际应用场景的需求。电磁超表面作为一种平面型的人造复合电磁结构,由于具有剖面低、设计灵活、加工便捷、损耗低等明显优势在电磁波调控与设计领域成为研究热点,其表现出来的独特的电磁性能为实现对电磁波的完全控制提供了一种新的方案。本文主要研究电磁超表面对电磁波幅度和相位的同时调控机理,分别设
学位