动态视觉传感器事件流处理方法研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所) | 被引量 : 0次 | 上传用户:wyfwin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着半导体技术与工艺的进步,光电成像器件在近几十年里性能指标与成像质量有着显著的提高,并在诸多领域有了广泛应用。但是,由于成像原理、输出方式的限制,现有光电成像器件在对高速、超高速运动目标或高动态范围场景成像时,会出现运动模糊、曝光不足等问题。并且随着帧率的提高,在获得目标图像的同时会产生海量的背景冗余数据,会对后端处理与存储系统造成巨大负担。动态视觉传感器受生物视觉启发,相较现有光电成像器件固定频率曝光、逐帧输出灰度图像的工作方式,动态视觉传感器是以异步成像,输出是表示光强变化的脉冲信号,而非灰度值。这种成像与输出方式,得益于动态视觉传感器的像素设计与芯片架构更近似生物视网膜。当一个像素上的光强发生改变并达到阈值,事件脉冲立即通过地址事件表达电路输出。当多个像素输出时,则形成事件流。动态视觉传感器具备现有光电成像器件不具备的优点:低延迟、高动态范围、低带宽、低功耗等。但是在事件流应用上也存在着一些困难,主要原因是1、半导体固有缺陷:更为复杂的像素结构更容易产生噪声事件,噪声事件是在光强不变情况下由热噪声和结漏电流等因素产生的事件,它会增加数据量,占用更多带宽和计算资源;2、事件流的数据形式难以处理,没有成熟的处理范式,现有的灰度图像处理方法难以直接应用在事件流这种异步且稀疏的数据形式上。针对动态视觉传感器事件流降噪,本文从动态视觉传感器的芯片架构和成像原理出发,研究事件流的产生机制、可视化方法以及处理方法。根据噪声的种类和特点提出了基于事件密度的事件流降噪方法。并通过对事件相关性量化提出基于真实事件概率的降噪效果评价方法。针对目标跟踪应用需求,进行了基于事件相关性指数的目标跟踪方法研究。论文的主要研究内容包括如下几点:1.从动态视觉传感器的芯片架构和成像原理出发,深入研究了动态视觉传感器产生事件流的机理,对事件流从不同维度进行可视化。研究了事件流的处理方式,分为逐个事件处理和时间切片事件流处理的两种:逐个事件处理方法是结合时空邻域逐个处理新到达事件;时间切片事件流处理方法通过量化固定时间段事件的时空相关性批量处理事件。该研究对后续事件流处理提供理论基础。2.提出基于事件密度的事件流降噪方法。首先通过事件流的三维可视化,并结合动态视觉传感器的像素结构和成像原理,将噪声事件分为背景活动噪声(Background Activity)和热像素噪声(Hotpixel),并总结不同种类噪声的特点。提出了事件密度概念。降噪方法共分为两步,第一步逐一计算新到达事件时空邻域的事件密度,滤除密度较低的背景活动噪声,第二步根据第一步降噪结果滤除热像素噪声。通过事件流可视化对比现有有降噪方法,本文方法降噪结果中的噪声事件最少。3.提出事件流降噪效果评价方法。首先基于时空相关性提出了真实事件概率量化方法,并基于此将已获取到的事件流中噪声与真实事件区分。之后提出降噪效果评价指标:保留下的事件流中噪声事件数量(NIR)和滤除事件中的真实事件数量(RIN)。通过这两指标对事件流降噪效果进行评估,NIR与RIN数值越小表示降噪效果越好。相较现有评价方法,该方法可以不利用固定图像发生装置产生周期性事件流,来对降噪效果进行评估。并采用该方法对上文四种降噪方法进行量化对比评价,结果与可视化对比结果一致。4.提出基于事件相关性指数的事件流目标跟踪方法。该方法采用时间切片事件流处理方式,计算这部分事件的事件相关性指数,对满足事件相关性指数阈值的事件进行标注事件簇ID,从而获得目标产生的事件流及目标质心等信息。进而可以使用质心法等对目标运动轨迹进行跟踪,并保留运动目标的高时间分辨率的事件流。实验结果表明,该方法可以有效地发现视场中运动的目标,并且对其运动进行跟踪并保留其运动轨迹。
其他文献
海参有强烈的自溶能力,给养殖和加工带来不便。自溶发生时,海参化学组成发生变化。体腔液通过体壁上的孔隙在海参体内循环,其中的蛋白酶可能在自溶中产生作用。因此,本文对海
随着电分析技术的不断发展与进步,电化学传感技术成为生命科学、临床诊断、食品检测、环境检测和药学研究的重要手段之一[1-2],对于研发更稳定更灵敏更简便的电化学传感器提出了更高的技术要求和挑战。本论文以电化学为检测方法,基于多壁碳纳米管/氧化石墨烯(S-MWCNTs/GO)、四氧化三铁磁性纳米粒子(Fe_3O_4NPs)和金纳米粒子(AuNPs)等合成不同新型碳基纳米复合材料,采用DNA作为特异性核
为提高整体性能,发动机的小型强化技术快速发展,但是这也导致了发动机爆震趋势的大幅上升。强烈的爆震不仅会影响发动机的整体性能,还会降低其使用寿命,但是轻微的爆震会使发
苹果渣是苹果汁加工业的主要副产品,含有多种营养成分,但却被当作废物抛弃。其中含有的苹果多酚具有强抗氧化力,可以应用在食品、医药、保健品和化妆品等领域。苹果渣还可以
借助于聚合物刷的表面改性已经成为改变界面化学和物理性质的重要方法。聚合物刷广泛应用于科学研究和工业制造中,例如刺激响应材料、抗生物附着、润滑、胶体稳定等。活性聚
柴油机进气过程受到进气道结构、气门杆及复杂运行工况的影响,在气门间隙处会发生回流和流动分离等现象,导致进气流通性能的恶化。为了充分认识增压柴油机进气门附近的流动规
机载红外搜索与跟踪系统(Infrared Search and Track,IRST)得益于其夜视、抗隐藏和穿透雾气等能力,在视觉监视和导弹制导等军事领域得到了广泛应用。通常探测的目标非常小,在
随着全球能源危机的到来与世界范围内的环境污染加剧,清洁的新能源发电形式与电力运行模式日益受到人们的青睐。而冷热电联供系统因同时具备冷、热、电功率,能够实现能源的高效利用,并促进新能源发电的并网消纳,在降低能源与环境的压力上能够起到重要的作用。随着冷热电联供型微电网的发展,逐渐呈现出多微网并存、联合调度的多微网型发展格局。同时随着对需求侧响应研究也不断加深,需求侧响应在解决风光发电的并网消纳等问题方
近年来,随着信息技术的发展和大数据时代的到来,图像的数量呈现出爆发式地增长趋势。如何从浩如烟海的图像数据中快速有效地寻找有用信息,以提高信息处理效率,已经成为了一个
有机半导体材料因其造价成本低、柔性大、质量轻、可折叠、易加工等特点,目前已广泛应用于有机场效应晶体管、有机太阳能电池、有机发光二极管等光电器件中。通常,性能优良的