【摘 要】
：
近年来,以BERT（Bidirectional Encoder Representations from Transformers）为代表的预训练语言模型在口语理解任务中有着优异的性能表现。然而,这类语言模型虽然性能较为出色,却通常只能在文本层面建立上下文关联,而缺少丰富的外部知识来支持其完成更为复杂的推理。为了解决这一问题,进一步提升此类语言模型在口语理解任务中的性能表现,本文提出:（1）为BE
论文部分内容阅读
近年来,以BERT（Bidirectional Encoder Representations from Transformers）为代表的预训练语言模型在口语理解任务中有着优异的性能表现。然而,这类语言模型虽然性能较为出色,却通常只能在文本层面建立上下文关联,而缺少丰富的外部知识来支持其完成更为复杂的推理。为了解决这一问题,进一步提升此类语言模型在口语理解任务中的性能表现,本文提出:（1）为BERT模型融合由Word Net和NELL（Never-Ending Language Learning）所构成的外部知识来提升其在口语理解任务中的性能表现。在通过注意力运算融合外部知识的过程中,本文结合口语理解这一任务的特点,为模型引入单词级别的意图特征,以此来提升模型所能利用的特征信息的丰富程度。同时,引入单词级别的意图特征在一定程度上避免了错误信息在网络中的累积。此外,本文还在注意力运算之后为知识特征引入位置信息,以便让模型在后续步骤的注意力运算中能够捕捉到知识与知识之间的位置关系。通过上述方法优化知识融合的流程,从而提升模型在融合知识这一步骤中的性能表现。（2）由于口语理解包含有两个相互关联的子任务——意图检测和槽填充,本文结合这一特点,设计了一种可以融合知识特征的联合训练机制,让模型同时在两个子任务上进行训练来提升自身的性能表现。该联合训练机制将注意力机制与堆栈传播机制相结合,先通过注意力运算进一步为知识特征融合上下文信息,再利用模型在意图检测中产出的特征信息来提升其在槽填充中的性能表现,进而在让模型能够捕捉两个子任务之间隐含的关联信息。针对上述工作,本文在ATIS和Snips这两个公开数据集上进行了多组实验。通过实验结果和对两个案例所进行的具体分析,验证了上述工作对BERT模型在口语理解任务中性能的提升作用。
其他文献
深度神经网络（DNN）可以有效地从海量复杂数据中提取重要的信息,已被广泛应用于图像识别、语音识别及自然语言处理等领域。但这些神经网络使用时会带来较大的计算和内存开销,限制了在资源有限场景下的使用。传统的CPU与GPU处理器,由于其硬件架构中计算与内存单元的容量限制,无法满足很多应用场景对DNN算法的高性能与低能耗的要求。因此,研究者们提出在现场可编程逻辑门阵列（FPGA）上设计适应神经网络算法的硬
有限混合模型由于其对数据的强大拟合能力,成为统计机器学习中重要的数据建模工具,在模式识别、计算机视觉以及数据挖掘等领域都有着众多的应用前景,近些年来得到了研究者们的广泛关注。然而,传统的有限混合模型主要是用高斯分布构建的,对于现实生活中产生的一些特殊数据,例如文本,图像等有界数据,以及一些其他领域的非对称数据等不能很好地进行描述。因此急需使用一些由非高斯分布构建的有限混合模型解决上述问题。在这些非
高精度器件表面数字化对于检测、装配具有重要作用。采集到的点云数据根据器件精度容量增加很快,快速处理海量数据成为解决实时性的热点。点云数据三维重建精度、速度指标都是虚拟装配中需要重点考虑的,这些指标和系统搭建、点云重建都存在密切关系。本文从三维重建算法、点云模型参数检测以及3D系统设计三个方面对工业球形零件和海量数据进行三维重建与关键参数计算进行了深入研究,实现了海量数据的快速重构和模型表面的三维参
我国是全球预焙阳极重要的生产基地,煅后焦粉末电阻率的高低在一定程度上影响着预焙阳极质量的好坏。研究煅后焦粉末电阻率的影响因素,并使用机器学习算法预测电阻率的大小,方便工艺人员及时调整生产控制参数,对提高阳极质量具有重要的意义。本文首先依据阳极生产工艺原理,对阳极煅后焦生产历史数据进行了预处理和可视化分析。其次,寻找影响煅后焦粉末电阻率的物料参数和控制参数,探索了利用XGBoost通过将预测值取反的
随着万物互联时代的到来,越来越多的工作流中含有大量的IoT数据实时处理任务,如智慧城市、智能交通等应用场景中的工作流应用。为了提高工作流的执行效率、充分利用计算资源,采用云、边协同方式进行工作流调度执行成为必然。然而IoT数据参与的工作流在云边环境的调度执行会面临诸多挑战。例如IoT数据多为连续、时效性强的流数据,因此IoT数据处理的工作流需要不断地重复执行;同时,IoT数据的动态性也会影响到工作
高效用项集挖掘是数据挖掘领域中研究热点之一,它旨在发现事务数据库中具有高度重要性的模式。近年来,学者们提出了大量相关方面的算法,并取得了一定的研究成果。然而,目前大多数高效用项集挖掘算法仅仅关注项集的效用值,导致挖掘出的项集大多数是弱相关的,在实际生活中没有意义。首先,本文针对上述问题提出了ULB-CHMiner算法来发现相关性更强的高效用项集。该算法在ULB-Miner算法的基础上引入了全置信度
近年来,随着城市化进程不断加快,频繁的人口流动导致大规模的人群聚集现场出现的频率大幅提升,在地铁站、购物商场、旅游景点或者其他大型活动的广场等地出现的概率较高。2014年底,上海外滩跨年活动中发生的踩踏事件,再一次警醒管理部门提高对密集场所的预警关注与监管。为此基于现代智能化技术人群计数任务得到了广泛的研究,通过智能监控分析进行人群计数,为公共安全保障、提供交通调度以及商业布局奠定技术基础。随着深
问题生成任务是指在给定一个段落和指定答案的情况下,逆向生成多角度的问题。问题生成任务具有广泛的应用性,已经成为自然语言处理领域内的研究热点之一。但是,传统的问题生成模型中存在很多问题。一方面,模型对长文本语义信息提取不足,无法获取丰富的信息特征;另一方面,模型在文本和答案的交互上欠缺,造成生成问题的语义偏离于文本和答案。针对以上问题,本文在基于LSTM的问题生成模型上进行改进。该模型的编码器和解码
监控录像是记录、回放和分析异常行为的关键工具。以传统的方法检测和分析视频中的异常事件需要对监控视频进行人工处理,但这些方法需要耗费大量人力,而结合深度学习算法的动作检测技术能够在海量数据中自动学习到健壮的行为特征,因此逐渐成为实时识别异常行为的解决方案之一。以计算机视觉理论为基础不断改进的动作检测算法前景广泛,具有重要的研究价值和实际意义。常见的行为检测技术尚存在行为识别的准确率低、对非异常行为的
“眼睛是心理之窗”。近期的心理学和视觉研究表明,人的心理活动可以一定程度地通过视线表达。然而,用视线分析心理活动还需要与发球技战术相结合,还需要区分人物视线特征发现的场景。本文针对运动人物视线分析中存在的视线采集中图像提取的自适应问题、关键人物确定的自适应问题,以及运动人物视线与视线目标的相关性问题,对运动视线分析模型的自适应方法与技术展开研究。为了有针对性地研究运动人物视线,文中把视线分成“运动