基于生成对抗网络的素描图像翻译

来源 :西北大学 | 被引量 : 0次 | 上传用户:txhalyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度卷积神经网络的发展,生成对抗网络被应用于图像翻译领域并取得了优异的效果。素描与彩色图像之间的翻译(Sketch-to-Image,S2I)就是从素描图像稀疏的信息中重建出其他有用信息。S2I研究意义重大,但是由于素描仅能提供稀疏的信息,而缺少提升图像质量的色彩与高级语义信息,故一直是图像翻译中一大难题。本文认为人脸素描图像翻译不仅需要像花卉和汽车等普通图像完成对全局结构、局部纹理信息的重建,还需通过对局部属性的精准翻译来提升人脸图像的视觉效果,故将素描图像翻译任务分为普通素描与人脸素描两类。使用差分算子来处理彩色图像获得二值化的图像边界以此模拟素描,动态的差分算子参数增加了素描的种类,提升了网络的通用性,防止对特定风格的素描过拟合。对于普通素描的翻译任务,本文在Pixel-to-Pixel(Pix2Pix)图像翻译网络的基础上引入全变差损失来约束局部信息的重建,提升了翻译质量。针对人脸素描的特性,本文提出一种新的图像翻译算法:在文本属性约束下的人脸素描图像翻译网络,该算法的核心在于引入文本属性约束,通过感知融合的方法将素描与相应文本属性融合,并改进了配对的生成对抗损失且加入小区域修正像素对损失的约束,完成了人脸素描图像与彩色人脸图像之间翻译的任务并在FID(Fréchet Inception Distance,FID)的基础上,引入人脸检测领域中人脸相似度比对和人脸属性分析两种算法作为人脸素描图像翻译中全局翻译效果与局部属性翻译效果的评价指标。不同数据集上的训练与测试结果表明,本文所提两种素描翻译网络均提升了素描的图像翻译质量,表现出比与相似算法更好的视觉效果。
其他文献
手机作为当今社会通信的重要工具,对其内部的消噪系统的性能要求越来越高,怎样去判定手机消噪系统的好坏?其内部的消噪系统所用的算法效果怎么去评价?现有的评价方法分为主观
高质量高效的医疗可以提高人们的生活质量。而肝肿瘤作为一种恶性肿瘤严重威胁着人们的生命健康。因此肝肿瘤的射频消融(Radio Frequency Ablation,RFA)治疗逐渐受到广泛关注
目的研究经皮迷走神经耳支电刺激对药物难治性癫痫大鼠痫性发作的治疗效果并初步探讨其机制。方法采用氯化锂—匹鲁卡品腹腔注射的方法点燃Wistar雄性大鼠建立颞叶癫痫大鼠模
随着技术的迭代发展和世界各国政府对人工智能产业发展的新一轮推动,机器人产业及其基础理论研究备受研究人员重视。而同步定位与建图技术是人工智能移动机器人在众多地理环
图像匹配在无人飞行器视觉导航中发挥着重要的作用。通过将航拍图像与电子地图进行图像匹配,或对相邻两帧航拍图像进行匹配,能够得到飞行器的位置与速度信息。传统的图像匹配
此次设计研究课题是——自然形态视觉化及其应用研究-以品牌“言由”为例。通过对自然界中叶片形态的分析、研究和解构,运用现代设计思想和造型思想,艺术与设计结合的理念进行视觉呈现。笔者通过构建一个文创品牌,在概念与图形上与视觉化的自然形态相结合,利用孔板印刷、数字绘画等艺术性的表现语言,营造一定的文化内涵,显示品牌的独特个性,富创造性。设计目标是用现代平面设计方式方法与艺术思维相结合,进行自然形态的视觉
近年来,无线通信技术快速发展,智能终端以及物联网设备在大众生活中得到广泛的普及,无线接入点(Access Point,AP)被密集部署在各种场所中来满足用户的网络需求。高密度的AP会
随着当今社会的发展和科学技术的不断进步,对在室内环境工作的移动机器人的服务能力要求越来越高,对于室内移动机器人的研究首先要解决定位的问题。但是在室内环境下无法稳定
在海关安检中,动植物由于具有携带病毒的可能,被列为违禁物品。目前对此种违禁物品的检测主是X射线安检机,它能在不打开行李包裹的前提下检测其中物品,被广泛应用在交通运输
当下,制造业在先进的科学技术不断发展的推动下朝着精密化的方向不断进步,而如何提高数控机床的加工精度、减小加工误差成了各界人士的关注重心。而在其中,数控机床的热误差