基于生成网络和文本引导的图像多样化修复研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:xiehao2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复是指用一系列方法恢复破损图像。针对现有修复方法存在的问题,提出了两种图像修复算法,主要工作内容如下:针对现有算法在背景复杂和大面积不规则破损的修复条件下,修复结果存在结构不合理和纹理细粒度低的问题,提出基于密集多尺度融合扩张卷积的图像修复算法。首先,将破损样本输入全局结构生成网络中,该网络的核心模块为密集多尺度融合扩张卷积块;其次,将结构生成网络的输出样本输入至细节生成网络中,该网络包含密集多尺度融合块和并行的自注意力层;最后,将细节生成网络的输出样本输入至频谱鉴别器中,增强了全局与局部内容一致性和细节特征。将提出算法在国际公开数据集上对比近几年主流的修复算法,实验表明:提出算法可有效修复破损面积过大的图像,修复结果具有平滑边界和高细粒度,满足视觉连贯性及真实性,在评价修复效果的主客观指标上均优于对比算法。为解决目前修复方法在图像大面积损坏条件下,修复结果的有效性差且修复过程不可引导的问题,提出了一种由标签文字引导的图像多样化修复算法,通过输入外部标签引导修复过程,提升了修复结果的可控性以及多样性。首先,通过设计双重多模态掩码注意力提取破损位置的语义内容;然后,引入深度文本图像融合模块增强多模态数据的融合度,并通过应用匹配损失最大化生成样本与标签间的语义信息相关度;最后,利用投射鉴别器增强生成样本的真实性。所提算法的工作流程是以文字标签作为先导,根据匹配成功的标签词句修复出指定的图像。在对比实验中,输出样本效果好于对比算法,在可控多样性实验中证明了算法的生成多样性。
其他文献
近年来,短视频行业已经是内容领域的重要部分。由于短视频在短期内用户规模不断扩大且呈现更多元的特征,利用广告短视频进行产品推广被更多的微小商户所推崇。在加剧的短视频行业竞争下,优质的广告视频内容被极大需求。此外对于绝大多数非专业用户而言,在低成本情况下如何进行轻松拍摄并获得令人满意的广告视频将是一个巨大挑战。在此背景下,本文对移动端广告视频的拍摄与剪辑模式展开研究,提出了一个以脚本为核心的交互式广告
学位
泉州提线木偶戏历史悠久,其精妙的线规和表演技艺经过长期的积淀展现了传统文化艺术的智慧。但是,因为传统提线木偶戏的表演难度大、排练过程复杂等问题,传统剧目推陈出新的速度缓慢。又因为受到现代社会中层出不穷的娱乐方式的冲击,其传播交流与传承发展都面临巨大的挑战。在保护传统提线木偶戏的过程中,如何利用高新技术为传统文化艺术注入新鲜活力,提升观众对提线木偶戏表演的兴趣,拓宽提线木偶戏的影响力是目前亟待突破的
学位
腹壁疝是腹部手术的一种常见并发症,不能自愈,只能通过植入补片来治疗。中国每年有高达300万到500万腹壁疝患者,老年患者发病率甚至高达38%,比任何一种恶性肿瘤的发病率还要高。目前,临床上植入的补片大多是重量型补片,易导致慢性疼痛且复发率高;网眼稀疏、质地轻盈的轻量型补片以其优异的性能已逐步替代重量型补片。然而,作为一个植入的异物,轻量型补片的移位、皱缩仍然可能引起腹壁疝复发等并发症。因此,医生需
学位
中医在智能化的发展道路上,面临的最大阻碍就是数据的问题,因此将更多传统经验式的中医数据转化为可量化数据,建立有效规范的数据库,这对于中医的发展是必要的。其中,中医医案就包含着大量的基础诊断数据,应该被充分的利用。为此,针对中医医案数据处理方法中存在的准确率不足的问题,本文提出了基于Bert词向量的attention-BIGRU-CRF模型用于中医医案分词,以及基于加权的相似度算法用于中医证候匹配,
学位
随着科学技术的发展,生活水平的提高,消费者不再满足于产品的基本功能,开始追求个性化的表达。这一需求通过网络的不断放大,推动个性化定制逐渐成为各行各业的主流趋势。包装行业也要顺应潮流,但是过去由于种种限制,包装定制一直是一种只有少部分消费者可以拥有的服务。这种包装定制模式,无法继续满足消费者日益增多的个性化需求。但另一方面,移动网络的普及、生产技术的提高,诞生了根据消费者的需要进行定制化生产的C2B
学位
随着社会经济的发展与“一带一路”的政策,文化的传承在每个时代都占据了非常重要的位置,但往往少数民族的文化传承容易在时代的演变中出现断层的现象,因此传统文化的发展需要转型,以现代社会较为生活化的传播方式进行传承.土特产产品属于地域文化的一部分,产品本身的制作方式与生产地就存在地域差别与民族文化差异,因此利用土特产品包装设计的传播方式将文化传播出去。本文的目的是通过对布洛陀文化与地域土特产品的包装设计
学位
新时代的发展、科学技术的进步促使艺术设计领域发生了翻天覆地的变化,这些变化日渐刺激着人类审美的转变,人们对美学的渴望也愈发强烈。海报设计要迎合新时代的发展需求,拓宽其表现维度成为促使其不断发展的必然趋势。空间纵深感的研究为设计师们提供了更多表现其创意及想象力的机会,创作形式也不再局限于图形、文字等传统的设计要素,而是在设计中融入空间的思维理念,通过研究视觉经验的生成,以透视法再现真实的世界的空间幻
学位
旅游产业的飞速发展使得人们对旅游商品的需求度也大幅提升,作为旅游产业的重要组成部分,旅游商品及其包装设计也愈发受到行业及相关学者的重视,并不断强调为它们植入地域特色的重要性,然而当前市场中的旅游商品及其包装设计依旧存在着许多问题,在地域性特色的植入上也缺乏系统化的具体策略。本文在前人的研究基础上,希望通过对旅游商品特征及叙事性设计方法的研究,探索旅游商品包装设计地域性表达更细致的可行性策略。全文基
学位
太赫兹波具有广阔的应用前景,相位调制器是实现太赫兹系统应用的一类重要功能器件。本文基于超材料结构的研究基础,从动态调制的应用需求出发,研究了实现太赫兹波相位调制功能的透射式、反射式、可切换的超材料器件结构。利用二氧化钒与石墨烯等可以动态控制的材料与传统设计相结合,依据在不同应用场景下的需求设计了一系列的太赫兹超材料功能器件。利用三维电磁仿真和多极子散射能量的计算深入分析了所设计器件的工作原理和功能
学位
We Are Social和Hootsuite合作发布的《2022全球数字洞察报告》显示,全球的社交媒体用户已经达到46.2亿,约占全球总人口的58.4%,较去年同期增长了10%以上。在这个社交媒体蓬勃发展的时代,越来越多的用户通过自己的社交账号,将个人的看法或体验以图片和文本的形式来分享给他人。这类带有用户丰富情感的多模态数据有利于了解人们对某一事件看法,在政治选举、大盘走势、票房预测及情绪干预
学位