论文部分内容阅读
随着机器学习算法的飞速进展,人工智能在某些原本人类擅长的领域表现出了更加优异的能力,以惊艳的方式重回大众视野,推动了互联网形态的新的变化,即移动互联网跨越向智能互联网。智能互联网的优势是对信息的捕捉更主动,分析更正确,判断力更强。这包含了人工智能的感知能力和认知能力,智能终端和传感设备的增多对世界感知更广更深度,云和大数据分析对信息认知更快更准。对话系统作为人工智能领域的核心技术,是一种全新的和谐人机交互方式,也是一种集成程度更高的云服务模式,可以使智能终端的感知更加自然,认知更加强大。这种人性化的交互方式可以应用到智能客服、个人助理等多个领域并起到连接多个智能设备的作用,具有重大的研究意义和应用价值。本文总结了对话系统领域的研究进展和现状,分析了深度学习模型在对话系统的语言理解和对话生成部分中的应用。首先阐述了自然对话系统的类型划分,介绍了系统的模块框架构成,概括分析了各模块的主要研究问题与关键技术的主流思路和研究现状;然后从理论模型、研究进展及可用性等角度深度剖析了现有的语言理解和对话生成的技术解决方案,重点研究了应用于短文本分类的深度学习分布式文档表示方法和机器学习文本分类模型,以及应用于自然语言生成的序列到序列的神经网络结构及搭建原理。主要工作和创新点包括:(1)使用模板匹配和领域分类器对文本的意图进行了分析。针对传统文档表示方法高维度高稀疏和缺失语义的缺点,提出了基于神经网络模型计算得到文本分布式表示,对传统文本表示进行改进的方法,使用支持向量机算法对文本进行领域分类;通过可视化效果分析深度神经网络模型分类结果的概率分布,提出了分类策略:通过认知经验,根据简单模型置信度提取出大部分简单任务交简单的分类模型完成,少部分复杂任务用复杂模型分类;根据分类的结果调用不同知识模板集进行多模式匹配,有效缩小模板匹配的空间复杂度,提高意图提取的效率。(2)自然语言生成部分,对于无法通过模板匹配提取出意图的文本采用深度神经网络语言模型生成答复。基于序列到序列的神经网络结构实现了生成式语言模型;加入注意力机制,有效利用上下文信息使生成的答复更符合语境;优化目标函数采用最大化互信息函数,解决使用最大似然优化函数出现的安全回答问题;测试阶段使用集束搜索技术,有效选择出顶层得分最高,即更好更有趣的答案。(3)详细设计了面向智能互联网的自然对话平台的系统框架,在模板匹配的基础上加入深度学习技术实现领域限定的任务型智能对话系统,完成垂直领域内的特定任务的同时提供开放域人性化对话服务,最终面向第三方开发者提供标准的核心技术基础服务,提供简单方便的自然语言解析业务,借助于知识共享的设计理念,实现不同开发者之间知识的有偿互用和协助,实现跨合作伙伴的合作空间,进而实现更为广阔的应用和商业想象空间。