基于事件相机DAVIS的特征点跟踪和三维重建系统的设计与实现

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:jinz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
事件相机DAVIS(Dynamic and Active-pixel Vision Sensor,动态和主动像素视觉传感器)作为一种新的视觉传感器,能够在同一像素阵列下同时输出图像帧和事件流。由于事件流的数据格式完全不同于图像帧,传统的特征点跟踪和三维重建方法无法直接应用在视觉传感器DAVIS上,因此需要新的算法出现来最大限度的发挥事件相机的优势。本文提出了一种基于DAVIS的事件特征跟踪方法,并在此基础上提出了一种基于事件的半稠密三维场景重建方法。本文提出的特征点跟踪方法将事件流、图像帧和IMU(Inertial Measurement Unit,惯性测量单元)数据作为输入,跟踪过程分为初始化和跟踪两个阶段。初始化阶段,首先使用Harris角点检测器提取特征点,然后使用Canny检测器提取边,并将特征点周围的边作为对应特征点的模板。跟踪阶段,首先从事件流中为每个特征点选取时空窗口,利用EM-ICP算法对窗口内的事件与相应特征点的模板边进行匹配,在匹配过程中同时进行特征点的光流估计。而后,利用计算得到的光流和IMU数据一同对特征点的位置和特征点周围模板边的位置进行更新。在上述所提出的事件特征跟踪方法的基础上,本文进一步提出了一种基于事件的半稠密三维重建方法。该方法基于事件特征和场景中的边信息,利用位姿变换和三角测量完成场景中边的重建,实现了基于事件的三维场景重建。三维重建过程分为两步,首先利用特征点的匹配关系,并运用对极几何和Pn P算法,计算每帧边图对应的位姿,然后利用边图的位姿信息和边图之间边的匹配关系,恢复边图中边在空间中的3D位置坐标。最后,基于以上提出的两种方法,本文实现了一个基于事件相机DAVIS的特征点跟踪和三维重建系统,并利用公开事件相机数据集对该系统进行了测试。实验结果表明本文提出的特征点跟踪方法在特征点跟踪时长和精度两个方面都取得了较好的效果,且三维重建方法同样实现了很好的可视化效果。
其他文献
你喜欢吃小龙虾吗?在中国,小龙虾称得上是美食界的"明星大咖"。十三香、麻辣、蒜蓉、清蒸、油焖,每一种口味都深得"吃货"的心。《中国小龙虾产业发展报告(2021)》指出,2020年我国小龙虾产业总产值超过3400亿元。但是你可能不知道,小龙虾有着两副面孔,除了是餐桌上的美食,它更是一种破坏性极强的外来入侵物种,鱼类、水生植物等都深受其害。而且,小龙虾打洞,给水库、湖泊、堤坝等也带来不小的风险。
期刊
地理空间信息的三维可视化一直是地理信息系统与应用的重要内容,近年来快速发展的倾斜摄影测量技术为获取大范围高精度地物实景三维模型提供了有效的手段。然而,倾斜摄影测量技术形成的三维模型本质上属于数字表面模型。通过无人机等航空平台生成的倾斜摄影测量数据只能建立城市建筑物外部的三维表面,而无法描述其内部的模型细节,导致了三维地理信息系统对于建筑物内部信息描述能力的缺失。建筑信息模型(BIM:Buildin
仿真优化的主要目标是优选系统解决方案,同时降低多方案优选过程中总的仿真执行次数,提高求解最优方案的效率。由于实际问题变得越来越复杂及其随机性的影响,仿真优化需要多次独立测试每个方案,才能挑选可信的最优方案,所以仿真优化需要高且不确定的计算能力。云计算为仿真优化提供了经济、高效且灵活的平台。但是当前仿真优化算法大多都是面向单用户任务,且缺乏可以在每个阶段并行执行的足够样本,无法充分利用云计算资源,无
社交网络服务的迅速发展,深刻地影响着人们的日常生活。社交平台中的海量用户构成了一个真实世界的网络映射,但目前对这一网络的很多现象和以及演化规律仍缺乏系统的认识。研究社交网络的演化可以帮助认清网络的形成机制,预测网络连接趋势。本文以社交网络为背景,从链路预测的角度出发,对社交网络的演化问题进行了研究。本文主要贡献如下:(1)从预测准确度、计算时间消耗、预测稳定性三个方面充分对比分析了当前常用的链路方
提高无人作战系统的自主性是无人作战系统发展的一种重要趋势,自主性在军事应用上具有诸多优势。目前,我军对无人装备研究较多,但对无人作战系统自主性方面的研究比较少。与其他军事强国特别是美国相比,无人系统在军事方面的应用研究仍需加强。本文针对军事应用背景下无人作战系统的自主性特性,提出无人作战系统自主性的内涵及其概念模型,分析无人作战系统的自主性,建立相关等级模型及评估方法,研究面向任务的无人作战系统自
近年来,Iaa S(Infrastructure-as-a-Service)云计算平台在为松散耦合的科学应用(如科学工作流)构建灵活、高效和低成本的运行环境方面显示出巨大潜力。一方面,当Iaa S云提供虚拟资源时,用户可以根据特定应用程序的要求定制执行环境;另一方面,与传统的高性能集群相比,用户可以按需租赁各种类型的云资源,在资源配置灵活性上具有更大的优势。此外,Iaa S云平台按使用量计费的模式
万物互联时代,海量数据在网络边缘产生,使得数据传输压力急剧增大。同时,新型应用的实时性、可靠性和隐私保护需求也逐步提高,采用传统集中式云计算,难以满足应用需求。针对该问题,边缘计算提出利用更接近数据产生端的网络节点,提供分布式计算、存储和控制服务,从而减少数据传输量,为用户提供高实时、高可靠和安全的服务。近年来,边缘计算的发展过程提出了诸多挑战。本文围绕边缘计算的资源分配与数据访问两方面进行研究,
由于指纹、虹膜等生物特征设备在笔记本、平板、手机上的日趋普及,以及基于Linux内核的操作系统在市场上的占有率越来越高,其上的生物特征认证系统也就越发重要。然而当前的Linux类操作系统上的生物特征认证方案在用户体验、易用度上都与Windows等商用操作系统存在较大差距。因此构建Linux上成熟完善的生物特征认证系统显得尤为重要。本文针对该问题,进行了深入的研究与方案的设计,设计并实现了一种基于事
论文立足科研项目管理实际要求,针对综合计划部门的实际管理工作中效率低、人工存档出错率高等相关问题,利用软件工程设计的思想,以科研管理信息系统软件的设计与开发为课题研究内容。本文的主要工作和贡献如下:(1)对科研项目管理工作进行了需求分析。通过前期对综合计划部门业务工作的深入调研,充分分析和优化了各个项目管理工作的组成、流程和数据需求等情况,进一步明确了用户需求,对需求分析进行文字描述、绘制了工作流
随着科技的飞速发展,论文作为科技成果的主要展现形式也已经累计到了一个惊人的数量,抽取论文相关信息构建学术知识图谱是当前充分地挖掘论文学术价值的主要方法之一。目前主流的学术知识图谱(如全球最大的开放学术知识图谱OAG、东北大学的Tech KG和上海交通大学的Ace KG)都是基于期刊和会议论文构建的,没有利用信息更丰富、学术价值更高的学位论文。本文就如何基于学位论文构建学术知识图谱并挖掘学位论文价值