基于卷积神经网络的端到端的立体图像颜色校正方法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:police
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术和计算机视觉的不断发展,立体图像的视觉效果使其得到广泛关注。相较于二维图像的平面感,立体图像带给人们的是更加真实和自然的视觉体验。由于图像采集过程受各种因素影响,不同视点下拍摄的相同物体的亮度和色度可能发生变化,导致立体图像左右视图之间产生颜色或亮度差异,这种差异会影响深度信息重建,进而使观众感到视觉疲劳。为了解决现有颜色校正方法中校正效果与时间效率不平衡问题,本文主要研究基于卷积神经网络的端到端的立体图像颜色校正方法,用以快速校正立体图像左右视图间的颜色。本文首先提出一个基于深度残差优化的立体图像颜色校正方法。该方法通过融合全局颜色校正图和左右视图密集匹配图得到初始化结果,由于初始结果的像素来自于全局颜色校正结果图和密集匹配图,用残差图优化的方式可以对由误匹配和融合导致的结构变形和颜色不一致进行优化调整,并使校正结果最大限度地保留目标图像的结构和清晰度。在优化网络的训练阶段,为了改善结构变形和调节区域颜色不一致,模型引入了感知损失和逐像素损失。实验结果表明该方法优于大部分先进的颜色校正算法。进一步地,本文提出一种端到端的基于视差注意力的立体图像颜色校正方法。该方法在同一个卷积神经网络模型中同时进行立体对应关系获取和目标图像颜色校正。先使用共享参数的多尺度特征提取模块分别提取参考图像和失真目标图像的特征,再通过视差注意力模块的双向匹配策略进行特征之间的对应关系匹配和融合,最后重建融合特征得到校正目标图像。视差注意力机制仅在水平视差方向搜索匹配像素,能够实现左右视图信息的高效融合。实验结果证明了该模型在立体图像颜色校正中的有效性。最后,为了弥补视差注意力机制对于垂直视差和细节匹配的不足,本文提出一种基于匹配与融合的立体图像颜色校正方法。该方法主要由视差注意力颜色校正网络、基于光流的图像匹配网络和图像融合网络三部分构成。基于光流的图像匹配网络不受视差方向限制,能得到更精准的密集像素对应关系。融合初始校正图、光流匹配目标图、参考图像和目标图像后的结果与参考图像的颜色更加一致。图像融合模型依然采用残差训练的方式以保持结果的清晰度以及与目标图像的结构一致性,并引入更能反映人类视觉系统特性的多层级结构相似性损失。实验结果表明,与其他方法相比,所提出的方法具有较高的效率和性能。
其他文献
在需要决策的实际问题中,我们所能获知的信息往往是不确定的、不完整的、且精确度不足。为了解决这类问题,Yang等人提出了基于D-S证据理论的置信规则库推理方法。在此基础上,Liu等人提出了数据驱动的扩展置信规则库的构建方法,它通过对前提属性引入置信分布的方式,进一步提升了规则对于已知知识的表示能力。作为一类模拟专家解决现实问题的专家系统,已经吸引了很多学者对其展开了相关研究。但目前置信规则库仍存在着
学位
大量交通信息的收集使得人们能够高效准确地统计交通流量。这些统计结果对政府决策、区域建设、科学研究起到了重要的数据支撑作用。然而,已有研究表明直接发布统计数据存在严重的个人隐私泄露的风险。如何在发布交通流量数据的同时保证个人隐私的安全性是当前数据库领域的研究热点。作为一种公认的隐私标准,差分隐私提供了严格的隐私安全保证,并被国内外学者广泛研究。针对交通应用场景,本文考虑了差分隐私二维空间数据划分发布
学位
短临强降雨,一般指短时间内降雨强度高的一种强对流天气现象,主要发生在每年的汛期。短临强降雨往往伴有强风,冰雹和雷暴等极端气候现象,容易引起山洪、泥石流、城市洪涝等自然灾害。提高短临强降雨的预测准确度是气象研究人员的重点研究目标之一,但由于短临强降雨的高突发性,气象数据的高维非线性导致传统预测方法效果不佳。而且传统预测方法往往只采用了单方面的气象数据,模型抗干扰性不强,非常依赖于数据的准确性。针对以
学位
文本检测与识别是计算机视觉、模式识别与人工智能领域的热点研究方向。传统的光学字符识别方法对存在变形、噪声、不同结构布局和复杂背景等复杂场景下的文本检测与识别任务表现较差。随着深度学习技术的发展,基于深度学习的文本检测与识别算法在复杂场景下取得了较好效果。然而,相较于英文字符,中文中仅常见字符就多达数千个类别,这使得数据集构建困难;其次,不同于英文文本通常词内字符间距小,词间距大,中文文本字符间距可
学位
深度网络在各种任务上都显示出了强大的力量,被认为是一种潜在的实现通用人工智能的机器学习架构。然而,深度网络学习的典型模式是:给出一组固定的训练数据集,网络通过学习获得任务相关知识,当学习任务完成后,网络就会直接应用到具体的任务中,而不需要再学习新的知识。这种学习模式所建立的模型是静态的,难以适应不断变化的现实任务需求。深度网络迫切需要一种增量学习方法,能够促使模型从连续呈现的数据流中动态地学习新知
学位
论辩挖掘旨在从非结构化的文本中识别论点并对其关系进行分类,是自然语言处理领域的热点研究课题之一。近年来,随着深度学习的不断发展,论辩挖掘领域的相关研究已取得不错的进展,但仍存在诸多挑战:现有工作未充分考虑标注数据稀缺,缺乏对文本结构信息的有效利用,导致了模型难以识别长论点部件;以往方法在进行序列标注时尚不能很好地刻画标签间的长依赖关系;当前的研究在获取文本表示信息时,未能充分利用文本的词汇特征,导
学位
如今,推荐系统已经演变成为能帮助用户做出合理决策的工具。为了给用户提供更有效的推荐,大量的推荐模型已经被提出。在这些模型中,基于内容的推荐模型和基于协同过滤的推荐模型都只注重长期、静态的用户偏好而忽视短期、动态偏好。为了解决上述问题,越来越多的研究开始集中在基于会话的推荐模型。传统的会话推荐算法使用马尔可夫决策过程对会话数据进行建模,但是马尔可夫链无法刻画用户的长期偏好。基于RNN的会话推荐算法能
学位
复杂经济系统理论以动态的、复杂的观点来研究社会经济系统,是一种更全面的、建立在非均衡基础上的经济理论。目前对于复杂经济系统的研究主要是通过仿真的方式进行。但是在传统仿真技术中,系统内经济主体行为是基于给定规则,这就难于解释经济系统中反馈与涌现等现象,因此对复杂经济系统研究的支撑不够。对此,本课题设计了一个多主体的经济系统仿真模型,同时引入深度强化神经网络对系统中的经济主体的行为进行控制。针对经济系
学位
数字微流体生物芯片(Digital Microfluidic Biochip,DMFB)由于其低成本,便携性和高效率等优点,在医疗保健行业中发挥着重要作用。研究学者发现人们对于其安全问题的重视程度远远不及其在市场上的发展程度,其实它与同类芯片产品一样,易受硬件木马等攻击威胁。研究人员已将其遇到的安全问题分为三类:硬件木马、盗版问题、伪造品问题。本文主要通过研究传统芯片安全检测技术,结合生物芯片的特
学位
多目标跟踪(MOT)其主要任务是给定一个图像序列,找到图像序列中运动的物体,并将不同帧中的运动物体一一对应(Identity),然后给出不同物体的运动轨迹。多目标跟踪在智能安防和智能驾驶方向有着重要的应用和需求。许多研究认为简单场景中的多目标跟踪已经取得了较好的效果,但在拥挤场景中,考虑目标运动的复杂性和存在遮挡等问题,多目标跟踪仍然是一个非常具有挑战性的问题。本文主要针对多目标跟踪中的身份交换(
学位