随着深度学习的发展以及各项自然语言处理技术的提高,神经网络序列生成模型已经成为了研究热点并得到了广泛的应用,比如机器翻译,自动文本摘要,自动生成字幕等。近几年,序列生成模型已不局限于自然语言处理任务,也逐渐被引入推荐领域。本文对现有的神经网络序列生成模型进行了调研和分析,并分别对文本序列生成和行为序列生成中存在的几个问题展开研究和改进。本文的工作可以总结为以下两个部分:1、设计并实现了序列生成模型训练的曝光偏差正则训练框架。本文分析了主流神经网络序列生成模型存在的训练和测试阶段输入分布不一致的问题,提出引入曝光偏差正则项使模型在测试阶段具备更强的泛化能力。同时,为了加快模型的收敛,又提出寄生学习和课程学习两种辅助训练方式辅助模型在曝光偏差正则训练框架下更好地完成训练。2、设计并实现了基于时间窗的批处理训练方式和时间敏感循环神经网络用于提高行为序列生成模型的训练效率和效果。行为序列不同于文本序列,具有序列长度方差大和时间间隔不等距的特点。本文为了适应行为序列的特点对序列生成模型提出相应的改进。改进主要有两点:一是针对行为序列长度方差大的问题,提出基于时间窗的批处理训练方式提高模型的训练效率;二是针对行为序列时间间隔不均匀的问题,提出时间敏感循环神经网络,利用时间间隔信息对用户的长短期兴趣进行更好地平衡。最终将序列生成模型应用于推荐系统中的用户行为序列建模,作为召回模型。