论文部分内容阅读
各式各样的字体在各行业中扮演着重要的角色。区别于印刷体(如黑体字)或手写书法体(如行书),通常称带有图案、绘画或装饰性元素的字体为“艺术字体”。例如中国传统艺术瑰宝“花鸟字”,以花和鸟等数十种图案元素代替汉字笔画而来,是艺术字体的一种典型代表。由于汉字数量庞大而结构多变,设计一套字体需专业人员大量精力和时间,对艺术字体更是如此。字体自动化生成具有重要研究价值和意义,然而现有工作大多局限于印刷体或手写体。本文从花鸟字这种“绘画性字体”出发,基于深度学习生成对抗网络的方法,展开自动化生成的研究工作。本文进行了从草图交互式输入来生成花鸟字的研究。花鸟字可视作一种特殊绘画,其手工绘制需专业技能和多种特制工具,而本文提出基于对抗网络所设计的S2PNet(Sketch-to-Painting Net),仅需使用铅笔或毛笔粗略地勾勒出字体轮廓,即可快速将其转变成目标花鸟字。该方法可避免手工绘制工作量大的问题,还具有交互式的特点。具体来说,S2PNet包含两个网络:一个受“跳跃连接”启发所构造的生成器,负责将输入图像转换到花鸟字;另一个是块级判别器,对生成图像和真实花鸟字进行判断。训练时,除了使用对抗损失,还设计了结构相似性损失来驱动网络生成更好的花鸟字图像。本文进一步完成了从常规字体输入来生成花鸟字的工作。常规字体图像域与花鸟字图像域有巨大差别,而现有图像转换算法仅适用于图像内容不变或无剧烈形变下的纹理风格转换,故不适用于这两种字体的转换。本文提出F2PNet(Font-to-Painting Net)可将常规字体(如黑体)直接转换到花鸟字。在F2PNet中,空洞卷积编码模块提取字体图像特征,域转换模块和特征修正模块完成特征转换,反卷积模块将特征映射到目标花鸟字。训练中,在引入对抗损失和循环一致性损失的同时,提出“可识别性损失项”以约束所生成的花鸟字具有字体级别的可识别性。本文从图像转换的角度出发,依据输入图像的不同而提出两个方案来生成花鸟艺术字。通过多组实验的对比分析和消融探究,定性和定量地证明了所提方法在对应任务上的有效性。此外,实验还表明所提方法具有良好的泛化性,例如F2PNet可完成常规字体间的转换生成和更多的图像转换任务。