面向上色和超分辨的图像转换方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yaoyao2048
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
摄影是人们用来记录所发生事件的最常用媒介,光影百年,在摄影起步和发展的初期,那些影刻在胶片、金属板、蛋清相纸甚至更粗陋简单材料上的老照片,不仅作为重要的文献史料记录了旧时社会的人文风貌,而且是一种珍贵的记忆载体定格了父辈们的青春和年少时光,对其修复体现了对历史和人文的双重关怀。而相比于划痕、噪点、脏污等直接使用软件工具就能进行有效处理的毁损类型,对于老照片色彩和分辨率的修复不仅需要软件工具,还需要修复师依据想象和经验进行重新创作和绘制。但是这种手动创作的过程往往非常繁复和耗时,研究者们开始寻求利用计算机视觉领域的视觉生成研究,通过视觉生成算法自动创造满足要求的视觉图像,将修复师从费时费力的手工创作中解放出来。视觉生成研究中,早期传统算法直接对视觉要素建模,仅能生成简单重复的图像内容,应用十分有限。近年来一些深度生成模型,尤其是生成对抗网络的提出,使得视觉生成领域发展迅速,生成的图像质量和应用范围都得到了显著的提升和拓展。生成对抗网络仅利用随机噪声作为输入就可以生成以假乱真的图像,获得视觉效果极佳、审美愉悦和谐的彩色和高分辨图像。但是,随机采样的噪声输入对应的生成结果也是完全随机的,网络无法控制生成的图像内容与老照片一致,这显然与修复目的不符。因此,本文更进一步地提出利用图像转换方法,即一种条件式生成算法,将褪色低质的老照片作为条件输入明确地约束生成方向,使其在老照片内容的基础上生成颜色信息和高清细节以达到修复目的。具体地,本文研究了面向上色和超分辨的图像转换方法:(1)现有上色算法大多直接在大规模自然图像集上训练,然后将之应用在老照片上进行颜色修复,很少考虑老照片和自然图像之间的分布偏差导致模型泛化性能下降的问题,获得的上色结果易出现色彩寡淡和偏色的现象。但如果直接用老照片进行训练,却又无法获得满足训练要求的大规模老照片集。因此,针对这些问题,本文提出了针对极少量样本的基于结构保存性特征对齐的老照片上色算法,仅使用一张老照片作为源域,一张彩色参考图作为目标域进行色彩转换。实验表明本文模型可以产生更加真实生动的老照片色彩修复结果。(2)由于包括老照片在内的真实场景低分辨图像在频域的各个频段的退化复杂且各异,而现有超分辨算法一般仅在空间域显式或隐式地建模退化过程,并未考虑频域的退化特点。因此,本文首先提出了一个新的基于频率聚合网络的真实场景图像超分辨模型,通过不同的网络分支处理提取到的不同频率分量,融合后获得四倍超分结果。模型以获取更高的峰值信噪比为导向优化像素损失,实验表明本文提出的频率聚合网络相比于其他方法可以达到客观指标最佳。但是仅优化像素损失会导致网络倾向于生成像素平均的结果,出现过度平滑的模糊效果,视觉感知质量差。因此,结合前文对多个图像转换模型的实验评估,本文整合了经典图像转换算法pix2pix中的部分模块,重新设计了一个基于频率聚合的图像转换模型,生成纹理细节更丰富的超分结果,实验结果表明提出的方法可以获得主观性能最佳、视觉感受更加细腻真实的恢复图像。而在老照片上的实验结果也显示了本文模型在实际应用修复中的价值。
其他文献
随着互联网系统的广泛应用,身份认证作为用户授权和访问控制的主要手段,其重要性日益突显。相较于传统集中式的身份认证系统,基于区块链技术的身份认证系统能够有效解决身份数据篡改和单点失败等问题,近年来引起了广泛关注,但其将用户相关身份数据存储于区块链上,使得攻击者可以收集和分析区块链公开数据,窥探用户身份隐私。此外,目前因缺少对身份证书签发服务可信性的量化评价方法,身份认证系统无法对作恶行为进行惩处。针
学位
结合某公路工程,重点分析了改性沥青中SBS含量电化学检测技术的应用。研究结果表明,在改性沥青制备中要合理选用优质的基质沥青和SBS改性剂,利用电化学检测技术检测改性沥青中SBS含量,基于SBS含量电化学检测技术评价改性沥青储存稳定性,改性剂掺量越高,改性沥青的抗车辙能力和高温稳定性越强,能够为改性沥青中SBS改性剂掺量控制提供依据。
期刊
农村基层是我国经济社会发展的基石,是国家关系政权长期稳固的根基所在,基层政权健康运转并充分发挥作用对整个国家政权体系而言至关重要。乡镇纪委作为农村基层政权的政治机关和监督专责机关,其受理办理的检举控告类信访举报既是公民参与监督的重要形式,又是纪检监察机关处置问题线索的重要来源;而且,不同于政府受理的群众诉求类“大信访”,检举控告类信访举报明确针对基层党员干部的违纪违法问题,是评价农村基层政治生态状
学位
人脸、人体光流估计,旨在计算人脸、人体视频中相邻两帧图片之间每个像素点的二维运动,其在人脸识别、姿势识别、虚拟人等领域具有重大应用价值。然而由于缺乏真实场景下大规模的人脸、人体光流数据集,监督学习方法很难泛化到真实场景数据上。同时,由于人脸、人体缺少丰富的便于区分的纹理,并且其运动包含复杂的非刚性变形,现有的无监督学习方法也很难达到令人满意的效果。基于以上分析,针对人脸光流估计,我们提出一种鲁棒的
学位
微光像增强器作为微光夜视仪设备的核心部件,在夜间特殊环境作业有着广泛应用,为满足现代化国防和生产领域的使用要求,需要对其光学性能进行评估筛选出存在缺陷的产品。微光像增强器性能测试需要使用专门的微光光源系统,提供规定色温下的器件典型工作场景的光照度。因此,开展微光光源与控制系统技术的研究,对微光像增强器的测试具有重要意义。本文分析了微光像增强器测试中对光源色温、照度调节范围和稳定性参数的要求与光源精
学位
为分析多聚磷酸对橡胶改性沥青的高低温性能的影响,采用动态剪切流变仪、弯曲梁蠕变劲度试验及常规试验分别对基质沥青、橡胶改性沥青、不同多聚磷酸掺量的复合改性沥青5种沥青进行温度扫描试验、多应力重复蠕变试验和软化点试验研究沥青的高温稳定性,采用弯曲蠕变劲度试验和延度试验研究沥青的低温抗裂性。结果表明,橡胶粉改性剂可以显著改善沥青的高温稳定性和低温抗裂性;多聚磷酸可以改善橡胶改性沥青的高温性能,且掺量越多
期刊
在本文中,我们基于Brin-Katok局部熵公式和熵的变分原理来研究拓扑动力系统的限制敏感性和熵的关系。本文共分为四章,具体安排如下:在第一章中,我们结合动力系统的发展历程,阐述本文的选题背景并介绍本文的主要结论。在第二章中,我们首先简单介绍拓扑动力系统和遍历论中的基本概念。然后,我们主要介绍条件测度,条件熵和无限可数离散顺从群作用的拓扑动力系统的相关知识。在第三章中,我们将利用相对化版本的Bri
学位
本文是一篇综述报告。我们将介绍Bjorn Poonen,B.Mazur与K.Rubin所得到的代数整数环上的希尔伯特第十问题的相关结果。Bjorn Poonen在其2002年发表的一篇论文中将代数整环上希尔伯特第十问题的不可判定性归结于满足某种性质的椭圆曲线的存在性。B.Mazur与K.Rubin在他们2010年发表的一篇论文中,研究了任意数域上椭圆曲线的二次扭曲线族的2-Selmer秩。特别的,
学位
为了适应《普通高中信息技术课程标准(2017年版)》中对高中信息技术课程教学和内容的要求,各地中小学不仅将python程序设计语言纷纷编写进中小学教材,也把高中信息技术四大核心素养中的计算思维发展作为了学生学习效果的重要指标。小学阶段编程教学内容多以基于图形化的程序设计为主,高中程序设计教学内容都以文本编程为主,哪个学段适合学生从图形化编程过渡到文本编程并没有一个确切的论证。初中阶段学生正处于皮亚
学位
短视频的发展所带来的共享化场景使得男扮女博主得以入场,在充满喧嚣的互联网舆论场中,融合了男性气质与女性气质的男扮女博主更是受到了人们的围观和争议。他们是如何征用社会资源进行性别表演,表演背后又暗含着怎样的性别规范询唤和社会监控,以及将会对社会产生何种影响,是此次研究的关注点所在。本文力图从戈夫曼的拟据理论对男扮女博主的自我呈现进行分析,并结合朱迪斯·巴特勒的“性别操演”理论来解析其所带来的影响,结
学位