变分自编码器(Variational Auto-Encoder,VAE)是生成模型的一种,已经成功应用于自然语言处理领域,比如文本生成、机器翻译和文本分类等。但是变分自编码器存在先验崩溃的问题,并且当变分自编码器应用到图像生成任务时,它倾向于生成边缘模糊的图像。为了解决以上两个问题,本文详细分析了问题产生的原因,提出了自编码器抽象框架。并且根据自编码器抽象框架,提出了一种新的生成模型——自注意力自编码器(SelfAttention Auto-Encoder,Self-Attention AE)。神经网络的浅层能够学习到简单且具体的特征,比如边框特征和颜色特征等。随着神经网络层数的加深,学习到的特征变得更加抽象。自注意力自编码器使用最大化互信息来增加编码器输出的数据特征和浅层数据特征之间的相似度,从而保留神经网络学习到的浅层数据特征。使用自注意力机制对高维数据特征加权,从而增加相似特征的相关性。实验表明,使用Freshet Inception Distance(FID)分数和Sharpness分数作为评价指标,与变分自编码器和Wasserstein自编码器(Wasserstein Auto-Encoder,WAE)相比,自注意力自编码器能够生成质量更高的图像。为进一步提高图像生成的质量,本文在自注意力自编码器的基础上,对编码器的卷积层进行改进,将门注意力机制(门控机制)引入到模型中。实验表明,加入门注意力机制能进一步提高模型生成图像的质量。虽然自注意力自编码器和门自注意力自编码器能够提高图像生成的质量,但是与生成对抗网络相比仍然存在差距。在未来工作中,本文计划将继续研究自编码器框架,改进变分自编码器,使其能够生成质量更高的图像。与此同时,本文计划将自注意力自编码器和自注意力框架应用到自然语言处理领域,以探究它们是否可以在自然语言处理任务中发挥作用。