论文部分内容阅读
目前,神经形态工程学作为世界前沿学科在国内并没有普及,但在欧洲,神经形态工程学已经作为欧盟人脑计划的重要组成部分,并开始发挥重要作用。同时在机器人领域,欧洲已开辟出“神经机器人”方向,该方向在国内相关研究几近空白。随着机器人在极端场景下执行任务,对低延迟和捕捉高速运动等能力的要求不断提高,传统机器人领域正面临越来越多的挑战。神经拟态视觉传感器的出现,为目前机器人、智能驾驶车辆以及相关人工智能的应用提供了一套全新的解决方案。神经拟态视觉传感器是一种模拟人类视网膜工作原理的新型视觉传感器,它没有帧的概念,仅仅通过事件驱动的方式来捕捉场景中的动态变化。与传统相机相比,神经拟态视觉传感器具有高实时性、低能耗、高动态范围等诸多优点。现今计算机视觉领域中的算法多是基于传统相机的,神经拟态视觉传感器的的相关研究尚处于初步阶段,但传统相机的算法实时性不高,很难在实际场景中应用。针对以上问题,本文提出一种利用多线索信息融合算法来提高检测精度的行人检测系统和基于神经拟态视觉传感器的多车检测及跟踪系统,其主要内容及创新点如下:1.为了充分挖掘事件数据信息,本文引入了频率(Frequency),SAE和LIF三种事件流编码算法,将神经拟态视觉传感器产生的事件数据转换为事件帧,然后在此基础上使用卷积神经网络算法训练出三组对应的行人检测器,并且通过两种不同策略的融合模型来集成各检测器的优势,从而提高整个行人检测系统的检测精度。2.本文将神经拟态视觉传感器的应用领域扩展到智能交通系统中,提出基于神经拟态视觉的多车检测及跟踪系统。此项工作使用MeanS hift、DBSCAN和WaveCluster三种经典聚类算法对神经拟态视觉传感器记录的车辆数据进行检测,然后基于检测结果,对比SORT、GM-PHD、GM-CPHD和PDAF四种车辆跟踪器的跟踪性能。通过对行人检测和车辆跟踪系统的定性和定量分析,得到的实验结果表明,通过充分利用低延迟的稀疏事件流信息,本文中提出的行人检测系统检测精度高达82.28%;并且可以轻松地实现高帧率的在线多车检测及跟踪系统,该系统的实时性远超过基于传统帧相机的相关算法,同时可根据跟踪任务的不同,使用不同的检测与跟踪算法组合,从而实现权衡精度与速率的多目标跟踪系统。这里希望通过本文的研究工作,吸引更多的学者和研究人员投入到神经拟态视觉的研究领域中来,从而促进神经拟态视觉传感器的发展和应用。