基于注意力机制和生成对抗网络的人脸超分辨率重建模型及应用

来源 :延边大学 | 被引量 : 0次 | 上传用户:zj888666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
改善现实场景中获取到的人脸图像的清晰度和分辨率,可以显著地提升人脸识别准确率。人脸图像超分辨率重建的目标是利用输入的低分辨率(Low Resolution,LR)的人脸图像生成相应的高分辨率(High Resolution,HR)的人脸图像。基于深度卷积神经网络的方法已经成为人脸图像超分辨率重建技术领域的主流方法。经研究表明,增加卷积神经网络的层数能够提高网络模型的非线性拟合能力,但是网络层数的不断增多,网络模型也更难于训练,不利于人脸特征信息的提取。此外,低分辨率人脸图像中包含的大量低频信息在通道中被平等地处理,这种处理方式阻碍了卷积神经网络的表征能力。超分辨率生成对抗网络(Super resolution Generative Adversarial Networks,SRGAN)能够生成更真实的图像纹理,但是超分重建的人脸图像细节处常常会出现幻影或模糊现象。为解决上述问题,本文提出一种基于注意力机制和生成对抗网络的人脸超分辨率重建方法,并将其应用于视频中人脸图像的重建。首先,本文改进了SRGAN网络,通过在生成网络中引入残差网络构建残差组结构来改进网络模型,增强网络的特征提取能力。在残差网络中,将密集连接结构组合起来,以充分利用先前网络所学到的高频信息,并将小感知野的特征传输到网络的下一层以完成特征提取的任务。其次,考虑到人脸图像不同通道之间的依赖性,本文引入了一种用于自适应重新估计通道特性的注意力机制,以区别对待不同的通道,从而提高网络的表征能力,使网络模型更关注于人脸的五官特征信息。最后,将改进后的SRGAN网络模型和通道注意力机制相结合,构建基于通道注意力机制(Channel Attention,CA)和生成对抗网络(Generative Adversarial Networks,GAN)的人脸超分重建网络(CA-SRGAN),并将其应用于视频中的人脸图像的超分辨率重建。并结合人脸检测与跟踪、人脸图像优选技术,设计并实现了人脸图像超分辨率重建模块。为验证本文所构建的基于CA-SRGAN的人脸超分重建模型的性能,本文与其它算法模型做了对比实验。实验结果表明,通道注意力机制可以使网络更关注于人脸的五官特征信息,有利于人脸图像的超分重建;改进的残差组结构可以提高重建的人脸图像的质量和模型的重建效率。本文提出的模型能够更好的重建人脸图像,峰值信噪比达到31.68d B,结构相似性达到0.8819。
其他文献
序列密码的一个重要且基本的特性就是安全性,通常采用伪随机序列作为密钥流序列.作为密钥流的生成机制,伪随机序列生成器的性质将决定密钥流序列的性质.非线性反馈移位寄存器借助其在硬件和软件实现上的高效性,被广泛地应用在流密码的设计中.在过去的几十年里,许多密码将移位寄存器作为驱动结构,例如eSTREAM的最终入围作品Trivium,Mickey和Grain等.然而,由于复杂性和缺乏有效的工具,移位寄存器
本试验在大豆9年连作地设氮磷、氮钾、磷钾、氮磷钾、不施肥不同组合,栽培吉育47品种,分析了不同施肥组合对大豆连作地土壤养分、农艺性状和土壤中细菌、真菌群落的影响。结论如下:⑴施氮、磷、钾肥可使土壤p H值降低,Ec值提高,施氮肥直接增加铵态氮、硝态氮含量,施磷肥提高速效磷含量,施钾肥提高速效钾含量。氮磷钾组合施肥使土壤p H值低,Ec值最高,有效补充土壤中的铵态氮、硝态氮、速效磷以及速效钾含量。氮
糯米(Oryza sativa L.Var.),又称江米,为禾本科植物稻(糯稻)的去壳种仁,富含蛋白质、糖类、脂肪、矿物元素、维生素及氨基酸等营养成分,具有补虚、补血、健脾暖胃的功效,常用于制作发酵酒。清酒是由大米经蒸煮、加曲、糖化、发酵、过滤、脱色、煎酒、贮存等工序制作而成,而糯米清酒是以糯米为原料,采用酵母发酵工艺制作而成,具有口感柔和,酸甜适宜等优点。由于糯米成本高于大米,目前对于糯米清酒的
我国是食用菌生产大国,为合理利用废弃菌渣资源,本试验利用黑木耳菌渣辅以鹿粪对农田栽培人参土壤进行改良。对人参的生长发育、土壤理化性质及人参的产量和品质进行分析,探究菌渣与有机肥配施对农田土壤的改良状况及人参产量和品质的影响,从而找到菌渣和有机肥料的最佳配比和施用量,综合评价人参生长状况和品质。主要结果如下:(1)菌渣和鹿粪的施入可以有效地提高了土壤p H值和电导率值,降低土壤容重,增加土壤孔隙度,
具有化学式MX3(M=Co、Rh、Ir,X=P、Sb、As)的方钴矿,由于其具有良好的热电性能而受到广泛关注。本文运用基于密度泛函理论方法和粒子群晶体结构搜索技术,在0-100 GPa范围内对CoP3进行结构预测。研究预测得出高压新相的物理性质。研究表明在高压下,CoP3晶体结构发生了三次结构相变,为一级相变。其相变序列为Im(?)(α相)-→Pnma(β相)-→C2/c(γ相)-→C2/m(δ相
植被物候作为气候与自然环境变化的重要指示性指标,在全球气候变化的背景下,其变化较为突出。目前已有相关研究表明,不同植被类型物候期的时空变化有较大的差异,其对气候变化的响应也成为目前关注的重点问题。在过去的长时间段内,全球温度升高已成为事实,但近年来有研究表明,由于1997-1998年的厄尔尼诺现象,全球地表温度由快速增温期进入“间断”期。为研究在这种气候变化的条件下东北亚地区不同植被类型的物候期时
随着LED灯具的发展,“绿色、高效”成为LED产品的首要的技术指标,利用现代电子技术设计实现更高效、经济的LED产品已成为必然发展趋势。现有的多层式信号灯,结构过于复杂,组装时需手工焊点过多,组装过程繁琐,人工成本过高且每层LED灯组板结构不同,组装时需要多种PCB板,造成库存积压、生产效率低等问题。多层式信号灯在工作时为了得到良好的驱动效果在驱动小功率信号灯时用一个电压源经过阻值较大的限流电阻后
随着近年来电子电力技术和智能控制策略的发展,DC-DC变换器已成为开关电源的重要组成部分,主要用于数据通讯、远程控制系统、光伏发电系统、绿色能源等各个领域。DC-DC变换器是非线性时变系统,这类系统在实际运行过程中容易产生边界碰撞分岔、倍周期分岔等非线性现象,对变换器的性能和工作质量产生影响。现在大部分的DC-DC变换器使用的是单闭环控制方法。单环控制系统受到干扰时,输出电压会出现波动情况,从而影
贯叶连翘(Hypericum perforatum L.)是一种具有多种药理活性的多年生草本植物,但近年来其野生资源逐年减少,人工栽培产量和质量也难以满足产品生产的需求。因此,不定根培养就成为获取贯叶连翘新植物材料的重要途径。目前,贯叶连翘不定根生物反应器培养体系已建立,但不定根的药理活性尚不清楚,这影响着不定根的在产品生产中的应用。因此,本研究以生物反应器培养的贯叶连翘不定根为材料,利用闪式提取
在全球化的浪潮下,如何使用人工智能技术更好地克服不同语言使用者之间沟通和交流的障碍,成为自然语言处理领域重要的研究课题之一。知识图谱除了被用于优化搜索引擎的搜索表现,现在已经被广泛的应用在生物、医疗、金融等各种专业领域。得益于以维基百科为主的多语言在线百科的发展,研究人员整理出了大量结构化的多语言对齐语料。同时,以Trans E为代表的基于嵌入的知识图谱表示学习技术的发展,使得研究人员通过设计一个