面向事件相机的图像重构与质量评估方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:impeipeiyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
获取高质高效的视觉信息对推动人工智能技术的发展至关重要。传统相机虽然可以获取纹理丰富的高空间分辨率图像,但是在高速运动、大动态范围等场景下,传统相机常常出现模糊、曝光不足或曝光过度等问题。另外,随着帧率的提高,传统相机会产生大量的冗余数据,这极大地占用了存储资源和计算资源。受生物视觉启发,事件相机基于能量差分进行成像,颠覆了传统相机的光强积分采样原理。事件相机只对动态变化的场景内容作出响应,其每个像素独立工作:当一个像素上的光强发生变化且达到阈值,则该像素产生一个事件信号。相比于传统相机,事件相机具有成像速度快、时间分辨率高、动态范围大、数据冗余少、功耗低等优势。然而,事件相机的输出是一串异步稀疏的非结构化事件流,既不利于人类视觉系统的观看,也不利于图像处理算法在事件相机上的应用。因此,需要进行事件到图像的重构。同时,为了保证重构出来的图像能够满足人类的主观感知体验,还需要对图像的质量进行评估。通过图像质量评价,既可以监测重构图像的质量,也可以作为优化指标,反馈改善重构算法。针对上述需求,本文面向事件相机开展了基于事件的图像重构及其质量评价相关的研究工作。主要研究内容和创新点有:1、提出了一种基于多尺度域自适应策略的无监督图像重构算法。由于事件信号纹理稀疏且真值标签难以获取,导致现有方法难以有效地重构出高质量的图像。为此,首先基于长短时事件补全策略构造出了包含丰富背景信息的全时事件张量,来缓解事件信号纹理稀疏难题。接着,基于事件到图像重构与传统图像增强之间的关联性,即两者均是从退化信息中恢复清晰的纹理内容,进一步提出了一种无监督的域自适应重构方法。该域自适应方法通过在多尺度的输出空间进行对抗训练来学习域不变特征,从而将图像增强中学习到的知识迁移到基于事件的图像重构中。实验结果表明,我们所提的无监督算法可以有效地重构出高质量的图像。2、提出了一种基于层级质量衰减度量的无参考图像质量评价模型。深度学习网络需要大数据驱动,而现有的无参考质量评价网络面临着缺乏大数据以及难以准确全面地描述质量衰减的难题。为此首先建立了一个百万数量级的大型数据库,并融合多个全参考质量评价模型为每张图像计算出一个质量分值。接着,受视觉系统信息层级处理机制的启发,设计了一个基于层级衰减特征融合的深度卷积神经网络,在大数据的驱动下,通过端到端的层级联合优化,完成图像层级质量衰减的全面度量。实验结果表明,通过从数据和模型两方面共同发力,本文提出的方法可以实现对图像层级质量衰减的全面分析,并取得满意的评价性能。3、提出了一个具备主动推导能力的无参考图像质量评价模型。针对无参考图像质量评价缺少参考信息的限制,受大脑内在推导机制(IGM,Internal Generative Mechanism)的启发,首先设计了一个基于生成对抗网络的主动推导模块来模拟IGM机制,预测污染图像的主要内容。在该模块的优化过程中,提出了两个受IGM启发的约束:保证语义一致性的语义相似性约束和结构完整性的结构不相似性约束。接下来,根据污染图像和主要内容之间的关系,设计了一个多流卷积神经网络,综合分析视觉内容、污染和结构退化对图像质量的影响。实验结果表明,提出的方法能够准确预测污染图像的主要内容,并实现对图像质量的准确评估,表现出良好的泛化性和鲁棒性。
其他文献
牡蛎是中国产量最高的贝类。牡蛎肉味道鲜美、营养丰富,具有独特的功能性和药用价值。牡蛎中蛋白质含量最高可达50%以上(以干重计),且牡蛎蛋白(oyster protein,OP)中富含必需氨基酸,是一种极为优质的水产蛋白,极具开发潜力。然而,天然的OP存在溶解度低、致敏性高、营养成分受热易破坏等问题,使其功能性质不能完全满足于食品工业的需求,严重限制OP的开发及应用。因此,本研究利用超声联合球磨处理
学位
植物源农药是新农药创制的主要方向之一。实验室前期通过对110种中草药提取物杀虫活性筛选,发现荸荠(Eleocharis dulcis(Burm.f.)Trin.)皮提取物具有较好的杀蚜活性,然而,其杀蚜成分尚未见系统报道。因此,本研究采用活性追踪分离法对荸荠皮提取物进行分离鉴定,以期明确其杀蚜活性物质,为新型植物源杀蚜剂的创制提供先导化合物,并将提取物开发成制剂,为该新型植物源杀蚜剂的开发应用奠定
学位
随着大数据、智能计算以及云计算等技术的发展,基于总线架构的多核片上系统So C(System-on-Chip,So C)已经不能适应数据处理的需求,与此同时,基于片上网络(Network-on-Chip,No C)通信互连模式并拥有大规模处理核心的So C成为了未来高性能数据处理系统的发展趋势。制造工艺、生产缺陷、工作环境以及系统本身的复杂性等因素极大增加了片上系统出现故障的概率,片上网络容错路由
学位
玉米是我国栽培规模最大、总产最高的粮食作物。随着耕种方式和气候条件的变化,一些玉米病害频发且呈逐年加重态势,其中由镰孢菌引起的玉米病害不仅造成玉米产量下降、还能产生危害人畜健康的真菌毒素。目前依旧没有对其高效防控的药剂。明确土壤微生态变化特征,继而通过微生态调控达到病害控制的目的,也许是将来防控玉米镰孢菌病害的最佳解决方案。本研究从玉米镰孢菌病害发病严重的根际土壤中,筛选高效拮抗拟轮枝镰孢(Fus
学位
<正>数量众多、器型齐全的成套晚清宫廷庆典用瓷,是故宫博物院藏瓷的一大看点。其中以同治皇帝大婚瓷的烧制最为悉心,也最能体现皇家的奢华尊贵。同治皇帝大婚瓷器采用色地粉彩装饰,设色艳丽,图案纹饰寓意祥瑞,充满喜庆气氛,彰显着"同治中兴"之象。
期刊
作为最早被人类认识的物理现象之一,磁现象是普遍存在且多种多样的。要想认识和解释许多生活中的物理现象和过程,都必须考虑磁力这一重要因素。因此,作为研究磁现象的重要技术,磁场检测技术在漫长的发展中得到了广泛的应用。在目前较为常见的磁场检测系统中,基于霍尔效应的磁场检测系统凭借其在成本、功耗、线性范围以及集成度等方面的优秀整体表现,被广泛应用于国防科技、汽车电子、工业控制和消费电子中。然而,随着现代半导
学位
秸秆还田是世界范围公认的增加土壤肥力的一种增产措施,在减少由秸秆焚烧导致的污染的同时,还能对作物生长发育起到促进作用。但若方法不当,会导致土壤中病原菌的积累,引起植物病害。近年来随着秸秆还田措施的推行,玉米茎腐病由次要玉米病害上升为主要病害,对玉米生长发育造成了严重威胁。我国引起玉米茎腐病的病原菌主要是镰孢和腐霉等多种真菌,可以单独或复合侵染。本研究从2019年开始选择东北、西北、黄淮海、西南4个
学位
视觉跟踪作为计算机视觉任务的一个重要分枝,在智能监控、人机交互、智能驾驶等领域得到广泛的应用。在复杂环境下,目标在运动过程中由于自身形态的变化,或者环境因素对目标表观的干扰,都易引起跟踪器性能的下降,使得鲁棒的跟踪动态变化的目标成为一项艰巨的任务。因此,如何利用样本间的相关信息为跟踪模型提供更丰富的学习数据,如何根据目标的变化构建出合理的跟踪模型,是提升跟踪性能的关键。为此,本文以视觉跟踪主流方法
学位
基于GaN材料体系的氮化物基半导体器件的研究和产业化已经取得了重大进展,开辟了高能效半导体照明、高功率微波毫米波、高速电力电子技术新时代。面对未来电子信息系统对多样化半导体器件集成的强烈依赖性,需要进一步突破衬底对器件性能的限制,构建出不同半导体材料的异构集成电子系统。为此,探索不同于传统外延方式的新型氮化物半导体范德华外延工艺,实现不依赖外延关系的衬底选择成为国际研究热点。本文基于石墨烯、氮化硼
学位
<正>古陶瓷展览是古代艺术品展览中的重要内容之一。在故宫博物院走过的九十五年历程中,所举办的陶瓷展览曾以其丰富的文字内容、新颖的展示形式、精美的展品等吸引了众多古陶瓷研究专家、学者和爱好者前来观赏。从古陶瓷展览到陶瓷专馆的专题展,陶瓷馆每次改陈在内容和形式上都要吸收国内外在古陶瓷研究领域所取得的最新研究成果,
期刊