论文部分内容阅读
绘画作品设计过程涉及大量创造性工作。这个过程通常以在纸上画草图开始,借此设计师和工程师分享他们的想法,创在出能够还原真实场景的艺术作品。描绘现实世界中的图像通常包含多个对象,因此,从多实例草图中生成图像是一个有吸引力的研究课题,具有更大的现实意义。此外,随着基于数据驱动的智能时代的发展,获取含有标注的数据是困难的,但获取含标注的仿真样本数据可有效弥补真实数据的不足,因此本文方案提出了一个基于标注的多类别草图生成图像的方案,为草图图像标注类别信息。一方面,能够辅助艺术从业人员的创造性工作,另一方面,解决了人工标注数据费时费力的难题。在草图生成图像的任务中,现有的生成网络通常会在一张图像的不同实例上产生相似的纹理,因为这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。因此为了解决这一问题,本文提出了一种渐进的实例纹理保留生成方法,通过将实例和整个图像的生成过程分离,生成更加真实的图像。具体来说,本文提出了一个层级的网络结构保留实例的纹理信息。首先,第一阶段产生实例生成器,它为每一类草图生成初始的颜色分布和细节纹理,然后,第二阶段将第一阶段生成的实例图像组合作为网络输入,并且引入了全局辅助特征,从而生成了保留了实例细节纹理的完整图像。此外,例如眼睛、耳朵等是动物整体中最显著的一部分,准确的显著区域草图能够帮助生成纹理更加合理的实例图像。因此,本方案提出了判别草图扩增技术,通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束,并能够使生成图像对噪声具有较好的鲁棒性。大量实验表明,本文模型不仅能够生成合理的多类别图像,并且在MS-COCO数据集中获取了较高的感知分数(Inception Score)和较低的弗莱彻特距离(Fr0)?(8?0)inception distance),这意味着本文的方案在生成数据的质量和多样性上都取得了很好的结果。除此之外,本文通过收集整理相关数据构建了一个高质量的数据集,为多实例图像生成研究提供了丰富的多实例草图训练数据。同时,该数据集也适用于基于草图图像的其他研究任务,如草图分类、草图识别等。综上所述,本文的方案具有一定实际价值。