论文部分内容阅读
随着互联网技术的发展,信息的指数级爆炸导致人们难以高效获得信息资源,自动文本摘要技术也因此得到了广泛的关注。与常见的单文档摘要问题不同,会议文本存在单人发言和多人对话两种不同的形式,且存在信息冗余与内容不连贯等特点。特别是在当前疫情状况下,在线会议的需求暴增,会议的自动摘要变得更加重要。抽取式摘要又比生成式摘要有着稳定性好、可读性强等优点。本文针对面向会议纪要的抽取式摘要生成研究这一课题,提出了两种不同结构的抽取式摘要模型与融合模型,并面向对话类会议提出了一种新颖的用户特征建模方法。主要包含以下三个方面内容:基于多任务学习的序列抽取模型、基于强化学习的端到端句子抽取模型和基于条件变分自编码器的用户特征建模技术。基于多任务学习的序列抽取技术使用了一种序列抽取模型,且考虑到更好的利用输入文本的段落信息,基于序列抽取模型又使用了多任务学习进行共同训练,一定程度上共享相关信息,以提升目标任务。实验结果表明基于多任务学习的序列抽取模型在本课题数据集上达到了令人满意的效果,证明了该方法的有效性。基于强化学习的端到端句子抽取模型使用了一种与基于多任务学习的序列抽取技术不同的模型结构,该模型使用编码器解码器结构来进行摘要抽取任务,并考虑了到训练目标与评测指标不统一的问题,基于端到端的句子抽取模型使用强化学习以F1值作为奖励函数来辅助训练模型。实验结果表明针对基于强化学习的端到端句子抽取模型在本课题数据集上达到了良好的效果,起到了一定的辅助训练作用。最后,针对两种不同结构的抽取式摘要模型,对其进行模型融合,融合模型最终得到了本课题讯飞数据集上最好的效果。基于条件变分自编码器的用户特征建模技术针对会议数据集中的对话类数据提出,考虑到发言用户信息在数据中的重要性,本课题使用基于条件变分自编码器的用户特征建模模块为用户发言句添加用户特征信息,该建模方法可以简单有效的融入摘要模型。由于该模块用于用户特征的建模,而非独立完成摘要任务,因此为了验证该方法的有效性,将本模块分别加入抽取式与生成式的摘要模型进行实验。实验结果表明,用户特征建模技术与基线方法相比有着非常显著的提升。