跨模态视觉内容生成是指通过多种模态信息的输入完成视觉内容的生成,它同时涉及多个领域,如计算机视觉、自然语言处理,因此它的实现需要依靠深度学习、图片生成、文本特征编码等多种基础技术。视觉内容包括图片、视频等形式。目前的文本到图片生成模型,难以保证在复杂环境下生成结果的语义一致性与真实性。而视频生成模型方面,直接对视频进行建模的模型表现还较差,主要体现在视频帧的连贯性上以及运动内容的一致性和真实性等问题上。为了解决上述问题,本文针对跨模态视觉内容生成主要进行了如下探索:在文本到图片生成中,为了充分挖掘不同模态数据间的关系,本文引入对比学习,通过最大化图像和文本之间的相关性,从而使生成图像与对应的文本语义对齐,加强图片与文本语义的一致性。为了提升模型泛化性能,应对更加复杂的生成场景,在数据集有限的情况下,本文提出了一种自动筛选的知识蒸馏方法,通过引入预训练模型为本文的生成模型提供有效的外部知识,使得在应对复杂的生成场景时能有更好的表现,提升图片的生成质量。最终本文将提出的方法与最新的文本到图片生成模型进行对比,在CUB与COCO数据集上进行了大量的定性和定量实验,从而证明本文方法的有效性,在图片细节以及语义一致性上都有更好的表现。在跨模态视频内容生成中,本文探索了一种条件式的跨模态视频生成模型。该模型不再完全随机采样潜空间的点来表示运动信息和内容信息。而是通过可控的输入,分别用图片来表示内容信息,用文字来描述运动信息,生成对应的视频。在生成单帧图像时,本文采用一种双路网络对图片进行生成。最后本文在SBMG、TBMG、KTH数据集上进行了对比实验和消融实验,结果表明本文的方法的生成结果,在视频帧的连贯性以及运动内容前后的一致性上都有更好的表现。