论文部分内容阅读
随着交通运输行业与互联网技术的飞速发展,信息数据日益增加,人们的生活节奏日益加快。在交通客服领域内,人工客服的培训与管理成本较高且无法满足用户实时咨询的需求,传统的客服系统将不同的信息分布在各种部门信息门户下,该模式在获取时由于各类信息繁杂多样会导致效率非常低下,这种模式已经无法满足广大司机用户日益增长的高效获取信息的需求,因此智能交通客服系统的研究与实现迫在眉睫。本文设计并实现了一个准确率高且性能非常稳定的智能交通客服系统,该系统以微信公众号为平台,不仅解决了以往在网页上开发系统经常会出现加载缓慢的情况,而且统一了用户查询信息的入口,可以更加方便将用户所提出的问题进行汇总。在分析了国内外在对智能问答系统的研究之后,本文主要从领域知识库设计,意图识别,系统设计三个方面进行改进,在结合了具体的实际需求后完成了对实现智能交通客服系统的核心技术进行研究,本文的主要贡献及成果如下:(1)本文通过分析现有的四类智能问答系统的特点后发现这些智能问答系统都无法独立的帮助我们解决问题,在结合交通客服领域内用户的需求之后,设计了一种新型的问题答案对存储模式,提出了将领域知识库和常用问题答案对(Frequently Asked Questions,FAQ)相结合的方法应用于智能交通客服系统。领域知识库设计思路如下:首先将用户经常咨询的问题按照业务逻辑进行领域与意图划分,然后以三元组的形式对问题答案对进行表述,即“实体-关系(答案)-实体”的形式,这里的答案以属性的形式赋值给两个实体之间的关系,最后将问题答案对以三元组的形式存储到关系型数据库中。该方法有效的解决了交通客服问答系统中人工构建知识库成本高、对问答效率与准确率要求高等难题。(2)本文对意图识别技术进行了改进,意图识别任务通常被看作为分类任务而且用户咨询的问题通常为短文本,因此提出使用BERT(Bidirectional Encoder Representation from Transformers)结合CNN(Convolutional Neural Networks)的模型进行意图识别。该方法在中英文数据集上均取得了最优的表现。本文提出的使用BERT结合CNN进行意图识的模型主要操作步骤包含先对短文本进行预处理,然后将经过处理后的短文本放入模型中得到短文本的向量化表示,最后通过意图分类器识别短文本的意图,短文本预处理包含进行文本清洗、去停用词、文本过滤等操作,目的是为了将输入的文本整理成所需要的文本,这样做可以以降低表情符合、标点符号、特殊符号等对识别效果的影响,然后将经过预处理的短文本通过模型以获取相应的向量化表示,然后将特征向量通过单层的CNN进行特征提取,最后通过Softmax分类器输出不同意图的分布概率,进而实现对用户意图的识别。(3)本文在研究背景与理论技术进行充分分析的基础上,以微信公众号为平台,设计并实现了基于领域知识库的智能交通客服系统。本文提出的系统设计方案主要包含用户问句分析模块、问答模块以及数据库管理模块。用户问句分析模块主要是完成对问句的领域分类、意图识别以及实体识别,当用户提出的问题在经过问句分析模块之后将会帮助我们确定该问题所属的领域以及意图;问答模块可以解决用户咨询的与交通相关的问题,首先在常用问题答案对中进行匹配,通过相似度匹配算法查找答案,如果找到答案就直接回答用户,如果没有找到系统就会利用问句分析模板来判断出问句中的实体以及问句的意图,最后系统会在领域知识库中寻找与其相匹配的答案。基于对上述技术的分析以及提出的设计方案,本文完成了基于领域知识库的智能交通客服系统的研究与实现,最后将该系统通过为期一周的上线测试,回答的准确率高于85%,结果表明本系统可以上线运行帮助广大司机用户解决相关的咨询问题。