面向事件相机的多源融合成像技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:q56260916
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
事件相机是一种新型视觉传感器,模仿了生物视觉系统的成像机制,具有高动态范围、高时间分辨率、低数据冗余的特点,在军用及民用领域均有重要应用价值。事件相机只感知场景中的变化信息。当事件相机中某像素感受到光强的变化时,会触发一个表示光强变化信息的事件,该事件包含触发像素的坐标和触发时间信息。事件相机以事件流的形式输出数据,而非传统相机的灰度图像。事件流形式的数据表示方式为非结构化的,给面向事件相机的数据处理算法研究带来新的挑战,目前,常将事件流重构为灰度图像进行处理,然而事件相机数据噪声较强、空间分辨率较低,重构的灰度图像质量较差。因此,本文从事件相机数据与传统相机数据相融合的角度开展研究,构建面向事件相机的数据处理平台,开发事件流-灰度图像融合重构算法,具体工作内容如下:首先,搭建了使用单路事件相机信号的灰度图像重构与可视化系统。采用嵌入式开发板搭建了事件流信号处理平台,实现了对相机数据的录制及去噪。进一步地,构建了一个事件流信号重构数据集,并设计了基于卷积神经网络的实时重构模型。经现场测试,该系统对事件流重构效果较好,可进行实时重构。其次,构建了双目相机数据融合重构系统。针对事件相机空间分辨率不足问题,引入高分辨率传统相机,搭建了平行光轴式双目相机平台,并从并行计算和内存管理两方面对该平台进行优化。进一步地,为有效实现双目相机数据的融合重构,通过深度学习搭建了双目数据配准与融合重构模型。经多个图像重构质量评价指标测试,该双目相机数据融合重构方法效果较好。最后,针对双目相机数据空间配准难的问题,构建了基于分光融合的双路相机信号融合重构系统。该系统通过一个立方体分光镜对事件相机和传统相机数据进行配准,取得了较好的空间配准效果。进一步地,利用该系统构建一个真实世界事件流与灰度图像融合重构数据集,并将前述双目相机数据融合重构方法迁移到双路相机信号融合重构系统。经过测试,该系统融合重构效果较好。
其他文献
近年来,由于网络的迅速发展,复杂网络变得越来越难以有效的检测,不仅是因为网络的规模的骤增,还因为网络中的节点包含着丰富的内容。另外,网络的节点也不在仅仅处于一个社区内,还有可能与多个社区有所联系。因此,对于重叠社区和属性社区的检测,是本文所研究的重点内容。如何从复杂的网络中识别关键的信息,发现其社区结构,有着极其重要的现实意义。社区结构作为复杂网络的一种重要特征,对于理解整个网络的结构特性、节点功
学位
目的通过诊察并对比多囊卵巢综合征患者与健康女性小腿段足三阴经的阳性反应,观察多囊卵巢综合征患者足三阴经的经络腧穴反应现象。方法以18-35岁的40例多囊卵巢综合征患者(多囊组)和35例健康女性(健康组)为研究对象,应用传统经络诊察法和人体压痛力学定量测试仪,分别于PCOS组和健康组的非经期诊察双侧小腿足三阴经阳性反应物(条索、结节、松软、凹陷等形态异常)及压痛的出现情况、以及测定压痛VAS值及压痛
学位
基于快速搜索和发现密度峰值的聚类算法(Clustering by Fast Search and Find of Density Peaks,DPC)被提出以来,由于其思想简单,所需参数少,聚类高效等优点被广泛应用。然而,随着对DPC算法的深入研究,一些问题和不足也逐渐暴露出来:截断阈值(9((8)难以确定、聚类中心难以准确选择、样本划分易导致连带错误、对具有复杂流形结构、类簇之间密度差异较大数据
学位
近年来,因为人类的步态即使在远距离低分辨率下也具有很强的辨别能力,所以步态识别越来越受到人们的关注。但不同视角下行人的步态图像序列差异较大,因此步态识别的性能易受到视角变化的影响,影响最终的识别率。针对这一问题现有的算法主要分为以下三类:步态能量表征模板、提取视角不变性特征、学习不同视角下的映射关系。而本文提出了利用图卷积网络来解决由视角差异引起的识别率低的问题。本文的主要工作和创新点如下:(1)
学位
复杂网络领域中,链路预测是其中一个关键的研究方向。链路预测就是根据网络的已知拓扑信息去预测网络中丢失的连边、潜在的连边或在未来某一时刻将会出现的连边,甚至可以找出网络数据集中错误的连边信息。目前,科学家针对链路预测问题提出了不同的算法。基于节点相似性算法分为基于局部信息的相似性算法和基于全局信息的相似性算法,局部相似性指标使用网络中局部邻居和结构信息进行相似性大小预测,计算复杂度低,准确度低;全局
学位
遥感图像语义分割旨在为遥感图像中的每一个像素点都分配相应的类别。目前基于深度学习的遥感图像语义分割已经在军事、地质、城市规划等领域出现了许多成功的应用案例,然而随着遥感图像应用范围不断扩大,给遥感图像的语义分割任务带来了许多新的难题,因此它仍是一项具有挑战性的任务,表现在:第一,遥感图像中的各类地物尺寸各异,尺度差异较大,若要准确地对地物目标的类别进行预测以及完整地对地物目标的边界进行分割,需要提
学位
三维目标检测是自动驾驶环境感知中的关键技术,可以为安全可靠的自主驾驶提供基础。激光雷达和彩色(RGB)相机是自动驾驶汽车上最重要的两个传感器,分别获取点云和图像。点云包含精确的距离信息,但稀疏且无序,进行目标检测时,对低分辨率或遮挡目标检测困难,存在误检和漏检的情况。图像包含RGB色彩值,具有纹理和边界等细节信息,但是因为成像时近大远小的特点,以及距离信息的缺失,在三维目标检测任务中无法估计出目标
学位
利用超分辨率算法获取高分辨红外图像是解决当前我国红外成像器件制造水平低导致成像效果差、成本高昂难以满足需求的一种有效途径。基于多视图像的超分辨率算法以其更好的成像性能成为研究热点,其中又以深度学习超分辨算法最受关注。然而,现有深度学习超分辨率算法训练时用的样本对对应的并非真实的红外图像降质过程,且忽略了高-低分辨率图像的相互配准问题,使得其在实际应用中效果不理想。针对这一问题,本文提出了一种基于自
学位
由于科技的发展,高维数据迅速出现在各行各业。噪声、冗余特征也随之而来,这加大了数据处理的工作量和难度。因此,数据降维是必须的。由于可以保留原始的特征,特征选择成为了降维的更佳选择。近年来,无监督特征选择算法越来越多,并且都取得了不错的效果。但是这些算法仍存在一些问题,比如伪标签间的相互影响被忽略、数据间的链接信息没有被充分利用以及使用谱聚类时不能保证伪标签的非负性等。为了解决这些问题,本文提出了三
学位
在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样(ABS)被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为:(1)本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样
学位