随着社会物质资源的不断丰富,人们对于人文艺术的追求也不断提升。传统的艺术创作对创作者的专业素质要求比较高,也需要耗费较多的时间人力成本。而近期随着人工智能技术的发展,特别是深度学习的巨大成功,如何将其与人文艺术相结合也成为了工业界与学术界的热点话题。利用计算机系统自动生成符合用户期望的图像内容,不仅减少了艺术创作的门槛,同时也在电商、文娱、内容安全等领域有着广泛而重要的实用价值。本文主要研究基于语义布局的图像合成与编辑技术,即依据特定的语义空间布局自动生成真实图像。随着变分自编码器、生成对抗网络等生成模型的提出,基于深度神经网络技术的图像模型被应用于语义图像的合成与编辑中,并且取得了巨大的成功。相比于传统基于检索与组合的策略,这些算法不仅可以生成出训练数据之外的新语义图像,同时可以确保生成的图像具有更好的语义一致性与可控性。然而,以真正实现非常逼真且具有可控性的图像生成编辑操作为目标,针对从条件输入、到生成器模型、再到合成图像的整个过程,现有算法依然存在着以下几点挑战:对于输入条件,现有算法对于同一语义目标都只利用单一或者通用的条件表征形式进行控制,而真实场景中目标往往具有多个属性,且不同语义目标具有各自特有的属性形式,这对目标属性解耦与多条件表征提出了要求;对于生成器网络的设计,目前的算法大都采用了大模型和复杂模块设计的思路来提升生成图像的质量而忽略了生成器网络的模型大小和计算复杂度,而在实际应用中,巨大的存储计算开销会限制深度生成模型的应用;对于图像合成结果的可控性,目前的算法仅仅停留在语义级别,无法针对单个实例对象进行多模态的合成与编辑,而实际应用中,用户往往需要针对同一语义类别的不同实例进行差异化的合成与编辑。本文针对这些关键问题进行了研究,主要的研究工作及创新点如下:1.提出一个基于多条件联合控制的人像发型编辑算法为了能够更好地控制发型的编辑,该算法首先将图像特征解耦为四个部分:外观、形状、结构与背景。其中结构特征采用基于密集方向场的形式来表征发丝在每一处的方向。基于这四个不同表现形式的特征,该算法分别设计了对应的网络模块进行处理并在主干生成器中将其进行融合以合成出最终的图像。实验结果表明,通过这种特征解耦与融合的方式可以有效地对人像发型的外观、形状、轮廓进行编辑。此外,基于该算法的交互系统支持用户通过选择参考图像与绘制的方式来控制发型的形状与结构。2.提出一个基于语义自适应调制的语义图像合成算法该算法分析了目前语义图像合成领域常用的空间自适应解调制（SPatially-Adaptive DEnormalization,SPADE）模型,发现其通过浅层调制网络实现的空间自适应调制模块需要额外较大的模型参数存储开销与计算开销,同时由于语义掩模的特性在高分辨率时无法利用浅层卷积真正实现空间自适应调制。基于此分析,该算法提出了语义自适应调制方法,其可以在不影响生成图像质量的同时提升模型的效率。在位置编码的帮助下,该算法还可以进一步支持空间自适应调制。实验表明,该算法所提出的模块能够代替SPADE应用到其他算法框架中,在不影响其功能性的同时进一步提升了效率。3.提出一个基于语义概率建模的实例多模态图像合成算法为了能够在实例级别控制合成对象的多模态生成,该算法首先为每一个语义类别建立了对应的概率分布,然后依据每个实例在其对应的语义概率分布中进行采样,建立实例自适应特征,并以此来进行特征的调制。利用这种实例自适应调制模块,该算法设计了基于统一采样的生成器网络以避免多次采样带来的相互干扰。为了减少训练过程中的歧义,该算法设计了一个先验噪声重映射模块并且降低了感知损失与判别器特征匹配损失在浅层的权重。此外,为了能够提升诸如街道、室内等复杂场景的图像合成能力,该算法探索了不同生成器结构所带来的影响。不同于目前大部分算法所采用的简单堆砌,该算法从两种角度设计了生成器网络,包括步进生成模块与多尺度优化模块。该算法还尝试将草图作为额外的条件输入来进一步提升网络对语义对象内部结构的控制。实验结果表明,该算法能够实现实例级别的多模态控制,同时还能够利用先验噪声映射模块支持从参考图像实例进行对象外观风格的迁移。