在各种自然语言处理任务中,人机对话任务由于具有很大的挑战性、趣味性和实用性,一直是受到学术界和工业界广泛关注的热点问题,各种用于建模人机对话任务的统计模型和深度学习模型也层出不穷。在人机对话领域,开放域角色化对话生成是一个最近很受业内青睐的研究问题,主要研究的是如何使得机器人在预设的人物角色信息下,生成既符合人物角色,又与上下文一致的回复。近些年来,以Transformer结构为基础的预训练语言模型在各种自然语言处理任务上取得了令人瞩目的成绩。在对话生成领域,以GPT为代表的预训练单向语言模型被逐渐开始用于开放域对话生成任务上,并取得了相比于传统RNN对话模型更好的效果。但是这种普通结构的预训练Transformer在直接建模角色化对话生成任务时存在着种种弊端。为了使其能够更好地建模角色化对话生成任务,我们进行了以下几个部分的研究:(1)使用额外的记忆模块来独立编码角色化信息。为了减少在编码时拼接角色化信息和对话历史带来的噪声,我们探索了两种角色化信息的编码方式,分别是使用独立编码器的编码方式和使用记忆网络的编码方式。(2)在Transformer的解码器端增加复制机制。由于当前的角色化对话建模工作有很大一部分的角色化信息的体现方式还是通过回复中一些关键的角色化词汇实现的,所以我们探索了如何使用复制机制在回复中增加这些词汇的生成概率,从而生成角色化信息更一致的回复。(3)融合编码器端的记忆模块和解码器端的复制机制。以上两部分内容各有优缺点,所以我们继续探索了如何融合两部分的角色化编码方式和加入复制机制的解码方式,并提出了一种角色化一致性的自动评分方式。我们通过上述各部分的研究进一步探索了如何更好地使用预训练语言模型的Transformer来建模角色化对话生成任务,并使用自动评价指标和人工主观评价指标对各部分模型进行了评价,最终实验结果验证了我们所提出的各种角色化回复生成建模方法的有效性。