基于自适应多尺度信息融合的图像转换方法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:hellojie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉领域中,图像转换包含图像着色等多种图像生成任务。转换过程中源图像经过编码器编码和生成器解码转换成新图像,该方式实现了对源图像的编辑,在实际应用中具有重要意义。由于源图像和目标图像的差异较大,图像转换模型的处理能力直接影响生成图像质量。本文通过改进图像转换模型的生成结构提高模型的处理能力,以获得更高质量的图像,并基于此进一步拓展以实现可控可编辑的多样化图像转换。现有图像转换模型多数基于条件生成式对抗网络,该网络中生成器通过连续的上采样生成指定大小的图像。简单的生成结构不能完全获取图像的有效信息,导致生成的图像产生伪影或丢失细节。为了解决上述问题,本文受图像分类等图像处理任务中多尺度信息融合的启发,在生成器中使用多尺度信息改进生成结构,提出基于多尺度信息融合的图像转换模型SKGAN(Selective Kernel Generative Adversarial Network)。SK-GAN利用SKBlock(Selective Kernel Block)构建基于残差结构的多尺度信息融合模块Res-SKblock(Residual SKBlock),在生成器的每个上采样阶段获取和融合多尺度信息,然后以通道级自适应融合的方式将这些信息传递至下一个上采样阶段。这样的方式改善了传统转换模型的生成结构,通过自适应融合的方式控制不同尺度信息的转换,使生成器获得动态感受野,提高了生成图像的质量。此外,本文还在Cycle GAN的上采样阶段增加Res-SKBlock,进一步验证了Res-SKBlock的性能。实验表明,SK-GAN通过Res-SKBlock改进生成器能够在多个数据集上获得较高质量的图像,同时Res-SKBlock不仅在SK-GAN中发挥了良好的性能,还有助于改善Cycle GAN。传统的转换模型中由于单一的源图像输入限制了生成图像的多样性,导致转换模型对同一源图像产生确定的输出,无法进行更深层次的转换。为了使转换模型能够针对源图像产生多样化的结果,本文提出双分支引导图像编码器增强转换模型的多样性生成能力,并基于SK-GAN在草图合成真实感图像的任务中设计带引导图像的转换模型GSK-GAN(Guided SK-GAN),根据引导图像的颜色和纹理等信息产生对应样式的生成图像。GSK-GAN利用双分支引导图像编码器提取引导图像的特征,通过参数生成器和特征转换层将该特征的信息传递至生成器。相比现有方法中不同编码器之间双向信息传递的方式,本文提出的引导图像信息融合方式不仅保证了图像质量,同时更有利于转换模型的拓展。传统引导图像编码器能使转换模型利用引导图像生成指定样式的图像,但图像样式的变化仍局限于引导图像。本文提出的双分支引导图像编码器通过每个分支对应的权重控制特征信息的转换程度,以此实现在不同引导图像对应样式的生成图像之间进行插值,降低了引导图像对图像样式的限制。此外,双分支引导图像编码器还用于学习引导图像的隐变量分布以获取更多随机样式,进一步提升GSK-GAN生成图像的多样性。实验表明,GSK-GAN不仅能在样式可控的转换过程中生成合理的图像,还能够通过插值和隐变量获得更多的样式。
其他文献
随着信息技术飞速的发展,信息技术已经在医疗、军事和司法等领域有着广泛的应用。越来越多的个人或者组织使用互联网进行传输数据,这些数据中包含了很多机密信息。然而科技是一把双刃剑,先进的信息技术同样可能被信息窃取者用于窃取用户的机密信息。频频发生的信息泄露事件,使信息安全逐渐成为大众关注的焦点。在过去,解决机密信息泄露问题的机制主要基于密码学。但是基于密码学的数据加密只是把数据加密为不可读的乱码,这些乱
学位
随着代谢数据库的发展,进一步探索代谢网络成为可能,面对庞大的代谢数据,需要新的计算方法来寻找具有生化性意义的代谢路径。在代谢网络中,分支路径由线性路径构成,相对于线性路径,分支路径可以刻画更为完整的代谢过程。现有寻找分支代谢路径的方法主要通过追踪原子来寻找分支路径,这需要使用者定义被追踪的原子。此外,为了缩减搜寻线性路径和分支路径的空间,现有追踪原子的寻路方法仅通过合并那些在分支点和目标化合物上没
学位
背景与目的:尿道狭窄是泌尿系统常见病,多见于男性,主要表现为尿线变细、排尿费力、尿滴沥等排尿困难症状,随病情进展可能出现尿潴留、充盈性尿失禁、慢性肾功能不全等一系列并发症。其发病率约为0.3%,全球不同地域尿道狭窄的发病率及狭窄部位有显著性差异。国外每年约150万人因尿道狭窄就诊,约5000人需住院手术治疗,我国尚无大数据统计。根据前尿道的解剖,将前尿道狭窄分为尿道外口、舟状窝部尿道、阴茎段尿道及
学位
即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)是指搭乘特定传感器的主体,在没有环境先验信息的情况下,于运动过程中建立环境的三维模型,并估计自己的运动。经过多年的发展,SLAM在自动驾驶、增强现实、机器人运动与定位等多个领域中慢慢显示出它的作用。其中,基于特征点法的视觉SLAM具有使用方便、传感器成本较低等优点。这些优点使得基于特征点法的视
学位
在传统粗放式的经济发展模式下,生态环境形势日益严峻。为有效应对环境危机、防范环境风险,传统诉讼机制构造得到重新审视,新的诉讼机制即环境公益诉讼逐渐进入学术界视野及制度实践。通过两年的改革试点工作,我国环境公益诉讼制度逐渐确立。其中,检察机关作为环境公益的代言人,是提起行政公益诉讼的唯一主体。同时,司法实践中检察机关受理的环境行政公益案件基本上是通过前置程序解决的,故其前置程序设计的科学性及其实施效
学位
背景:膀胱癌是泌尿生殖系统最常见的肿瘤之一,临床上初诊断为膀胱癌患者中约四分之三以上为非肌层浸润性膀胱癌(Non-muscle-invasive bladder cancer,NMIBC),这类疾病易复发,如果进展则意味转移或预后差。先前已有纤维蛋白原、D-二聚体、白蛋白与球蛋白比值等预测NMIBC的进展、预后的研究。但国内外关于血清尿酸、血清尿酸/肌酐与NMIBC关系的研究缺乏。如果这种无创的抽
学位
黑恶势力犯罪因其造成的巨大社会危害引起最高政策制定者部署为期三年的“扫黑除恶”专项斗争。随着司法、执法机关深入开展打击黑社会性质组织犯罪和恶势力犯罪,学界积极跟进,围绕恶势力的概念、特征等从恶势力犯罪的认定以及量刑、恶势力犯罪与黑社会性质组织的区分等视角展开了研究。目前文献资料显示,学界对恶势力犯罪裁判关注度并不高,本文尝试通过对河南省2020年整个刑事案件审理年度的全部恶势力犯罪判决进行梳理、对
学位
目的:分析前列腺癌患者根治性前列腺切除术(radical prostatectomy,RP)后Gleason分级较穿刺病理升高(Gleason grade upgrading,GGU)的相关因素,根据多因素相关分析结果建立预测GGU的列线图模型,并评估模型的预测效力。方法:回顾性分析2017年1月至2021年1月河南省人民医院收治的100例行根治性前列腺切除术患者的临床资料和病理资料。穿刺活检和R
学位
基金投资组合动态管理能够分散投资组合的风险、提升投资组合的稳定性,帮助投资者实现资产的稳定增值。现有的基金投资组合动态管理方法主要通过预测基金价格未来趋势进行调整,然而基金价格的未来变化趋势难以预测,这导致基金投资组合动态管理稳定性较低。鉴于此,本文从交易策略出发,提出了一种基于深度强化学习的基金投资组合动态管理优化方法PPO-VAR。首先,该方法通过深度神经网络去感知基金组合数据在市场中的动态变
学位
2020年新型冠状肺炎疫情的爆发,使得在司法实践中妨害传染病防治罪被全面激活,该罪成为本次疫情类犯罪中最主要适用的罪名。针对此次疫情中凸显出本罪存在的问题,例如,该罪的传染病等级限定较为苛刻,以及行为模式不够全面等。《刑法修正案(十一)》对本罪进行了较大幅度的修改,结合在新冠防疫过程中两高两部发布了相关解释性的规范性文件,发布指导案例及“非典”疫情,“甲流”疫情时期出台的相关解释性文件,为该罪在法
学位