论文部分内容阅读
随着半导体技术与工艺的进步,光电成像器件在近几十年里性能指标与成像质量有着显著的提高,并在诸多领域有了广泛应用。但是,由于成像原理、输出方式的限制,现有光电成像器件在对高速、超高速运动目标或高动态范围场景成像时,会出现运动模糊、曝光不足等问题。并且随着帧率的提高,在获得目标图像的同时会产生海量的背景冗余数据,会对后端处理与存储系统造成巨大负担。动态视觉传感器受生物视觉启发,相较现有光电成像器件固定频率曝光、逐帧输出灰度图像的工作方式,动态视觉传感器是以异步成像,输出是表示光强变化的脉冲信号,而非灰度值。这种成像与输出方式,得益于动态视觉传感器的像素设计与芯片架构更近似生物视网膜。当一个像素上的光强发生改变并达到阈值,事件脉冲立即通过地址事件表达电路输出。当多个像素输出时,则形成事件流。动态视觉传感器具备现有光电成像器件不具备的优点:低延迟、高动态范围、低带宽、低功耗等。但是在事件流应用上也存在着一些困难,主要原因是1、半导体固有缺陷:更为复杂的像素结构更容易产生噪声事件,噪声事件是在光强不变情况下由热噪声和结漏电流等因素产生的事件,它会增加数据量,占用更多带宽和计算资源;2、事件流的数据形式难以处理,没有成熟的处理范式,现有的灰度图像处理方法难以直接应用在事件流这种异步且稀疏的数据形式上。针对动态视觉传感器事件流降噪,本文从动态视觉传感器的芯片架构和成像原理出发,研究事件流的产生机制、可视化方法以及处理方法。根据噪声的种类和特点提出了基于事件密度的事件流降噪方法。并通过对事件相关性量化提出基于真实事件概率的降噪效果评价方法。针对目标跟踪应用需求,进行了基于事件相关性指数的目标跟踪方法研究。论文的主要研究内容包括如下几点:1.从动态视觉传感器的芯片架构和成像原理出发,深入研究了动态视觉传感器产生事件流的机理,对事件流从不同维度进行可视化。研究了事件流的处理方式,分为逐个事件处理和时间切片事件流处理的两种:逐个事件处理方法是结合时空邻域逐个处理新到达事件;时间切片事件流处理方法通过量化固定时间段事件的时空相关性批量处理事件。该研究对后续事件流处理提供理论基础。2.提出基于事件密度的事件流降噪方法。首先通过事件流的三维可视化,并结合动态视觉传感器的像素结构和成像原理,将噪声事件分为背景活动噪声(Background Activity)和热像素噪声(Hotpixel),并总结不同种类噪声的特点。提出了事件密度概念。降噪方法共分为两步,第一步逐一计算新到达事件时空邻域的事件密度,滤除密度较低的背景活动噪声,第二步根据第一步降噪结果滤除热像素噪声。通过事件流可视化对比现有有降噪方法,本文方法降噪结果中的噪声事件最少。3.提出事件流降噪效果评价方法。首先基于时空相关性提出了真实事件概率量化方法,并基于此将已获取到的事件流中噪声与真实事件区分。之后提出降噪效果评价指标:保留下的事件流中噪声事件数量(NIR)和滤除事件中的真实事件数量(RIN)。通过这两指标对事件流降噪效果进行评估,NIR与RIN数值越小表示降噪效果越好。相较现有评价方法,该方法可以不利用固定图像发生装置产生周期性事件流,来对降噪效果进行评估。并采用该方法对上文四种降噪方法进行量化对比评价,结果与可视化对比结果一致。4.提出基于事件相关性指数的事件流目标跟踪方法。该方法采用时间切片事件流处理方式,计算这部分事件的事件相关性指数,对满足事件相关性指数阈值的事件进行标注事件簇ID,从而获得目标产生的事件流及目标质心等信息。进而可以使用质心法等对目标运动轨迹进行跟踪,并保留运动目标的高时间分辨率的事件流。实验结果表明,该方法可以有效地发现视场中运动的目标,并且对其运动进行跟踪并保留其运动轨迹。