【摘 要】
:
随着大数据时代计算机技术的高速发展,每天都会有海量的数据在互联网中传输,丰富的互联网资源使用户能够获取到大量的信息支持,从而在现实生活中得到极大的便利。然而,当人们面对如此庞大的数据量时,如何迅速得到所需要的信息成为了当前亟待解决的难题。传统的思路是以关键字匹配的信息检索技术进行数据筛选,然而面对数据量的日益膨胀,性能的提升却不尽人意。自动问答系统在语言模型上对问题与答案进行建模,深层次挖掘语义信
论文部分内容阅读
随着大数据时代计算机技术的高速发展,每天都会有海量的数据在互联网中传输,丰富的互联网资源使用户能够获取到大量的信息支持,从而在现实生活中得到极大的便利。然而,当人们面对如此庞大的数据量时,如何迅速得到所需要的信息成为了当前亟待解决的难题。传统的思路是以关键字匹配的信息检索技术进行数据筛选,然而面对数据量的日益膨胀,性能的提升却不尽人意。自动问答系统在语言模型上对问题与答案进行建模,深层次挖掘语义信息并找到问题与答案之间的联系,迅速反馈与问题相匹配的正确答案,为人们高效获取有价值的数据提供了解决方案。本课题研究自动问答系统中的答案选择技术,具体任务流程如下:在一个问题的多个候选答案中,通过监督学习的方式训练语言模型,使模型能够自动将问题对应的正确答案筛选出来。目前主流的方案是使用基于Transformer的预训练模型对问答文本建模,通过答案选择任务数据对预训练模型微调,使预训练模型适用于答案选择任务。然而,预训练模型在微调阶段局限于任务数据,无法获取额外信息辅助答案选择任务,因此本文尝试对任务数据增加外源性知识,以提高模型准确率。在预训练模型应用自动问答系统的过程中发现,由于预训练模型参数量过于庞大而导致预测效率较低,因此提出了两阶段模型提升预训练模型的预测效率。本文主要工作如下:(1)研究了预训练模型微调策略,针对任务数据形式单一限制了预训练模型的性能,通过采用信息检索与知识图谱对任务数据的外源性知识进行扩充与融合,提高了预训练模型在答案选择任务的表现。(2)研究了预训练模型在答案选择任务中性能与效率平衡的方法,提出以基于协同注意力的多层Bi LSTM模型对候选答案进行筛选,在预训练模型BERT中对筛选后的数据做最终预测。实验结果显示在预训练模型性能平稳的情况下,有效地提升了预训练模型的预测效率。
其他文献
唇语识别是指计算机通过学习说话者嘴唇的动态序列图片变化来识别出说话者所说的语言内容。唇语识别技术的应用范围广,如在国家公共安全防护领域、医学矫正领域等等。目前研究唇语识别大都使用深度学习,然而为了达到高识别率,实现唇语识别的网络模型越来越大,导致难以部署到移动端。因此,本文针对以上问题对传统的MobileNet网络进行优化改进,提出一种轻量化程度更强的FD-MobileNet网络,并利用FD-Mo
为了保障公共安全和社会稳定,监控摄像头被广泛应用于广场、机场和车站等人口密集的公共场所。但是,海量的监控数据对快速检测视频中人体的异常行为提出了挑战。因此针对智能监控领域,利用深度学习技术对监控视频中人体的异常行为进行检测和识别已经成为一个研究热点。受视频中复杂的背景和目标种类较多等因素的影响,异常行为的精确识别面临较大的困难。目前异常行为识别模型存在结构复杂、计算时间长和识别效果差等问题。针对上
随着日常生活水平的提高,同时受到疫情等情况的持续影响,不仅用户侧的用电需求量日益增大,还会出现新的用电行为模式,因此检测用户的用电行为以更好地适应用户需求,并发现潜在问题变得十分重要。目前电力物联数据每天或每小时以百万级的速度产生,并且电力物联数据的种类繁多,蕴含着体现用户用电行为、电能质量、电力设备运行状态等重要信息,所以有必要基于电力物联数据开展用电行为检测。用采数据源自用户侧的智能电表,是电
随着集成电路产业的飞速发展,半导体器件的先进工艺节点已到达5nm,为抑制由半导体器件尺寸微缩所产生的短沟道效应,器件结构从传统的平面设计向着三维的Fin FET器件以及纳米环栅器件等结构发展。另外,绝缘体上硅结构器件以及新材料(比如:低导热率的Si Ge等)也已被引入到了传统的硅基MOS器件中。但是,在器件性能提升的同时,由于密集热产生、热扩散低效等问题引起了更多的可靠性挑战。自热效应的研究对器件
面对互联网发展过程中快速增长的信息,人们可以比以前更方便的接触到各类信息和知识,但是海量的数据也给当前的问答系统带来了挑战,如何快速准确获取有价值的信息成为了当前研究的重点。本文主要研究问答系统中的答案选择任务,任务的关键是计算问题句和候选答案句之间的语义相似度,从而筛选出最符合问题的答案。为了解决以往模型中存在的问答句语义交互较弱和背景信息不足的问题,本文在以BERT模型为基础的深度学习模型上进
随着物联网技术的快速发展和物联网设备的不断增多,网络中的业务种类也越来越丰富,各类业务产生的大量数据流量也随之而来,而不同的物联网设备产生的业务流量对网络的底层资源有着不同的需求,业务流种类和数量的剧增为物联网的管理与用户服务质量的保障带来了巨大的挑战。传统网络仅提供尽力而为的服务,利用节点间的跳数作为评价调度路径优劣的标准,导致网络中的资源分配不均,难以满足物联网用户对不同业务的服务质量需求。软
姿态确定是基于载体的运动学模型和多传感器的测量值,计算载体坐标系和参考坐标系之间的转换关系。姿态确定作为导航的核心技术引起了广泛地关注,已经在航空航天等领域得到实际应用。目前研究热点是如何设计高精度、抗干扰的姿态确定方法。针对传统姿态确定方法精度低、抗干扰能力弱等问题,引入自主性强、误差无累计、可提供绝对航向的仿生偏振传感器,与惯性测量单元、磁强计等传感器互补融合,建立仿生偏振组合导航系统。本文分
信用贷款是国家用有偿方式动员和分配资金的重要形式,是发展经济的有力杠杆。信贷业务在银行业务中占据重要地位,尽管欺诈发生的可能性相对较少,但欺诈产生的影响却可能很大,阻碍着国家数字经济的平稳运行。信贷欺诈现象已经成为不容忽视的问题,因此研究及时准确的信贷欺诈检测方法至关重要。信贷欺诈检测属于异常检测的范畴,异常检测的痛点在于可用数据集中缺乏足够的异常样本,即数据集为类不均衡数据。随着基于深度神经网络
随着蓝色经济的发展,海上智能移动终端(如无人巡逻舰、浮标传感器、智能移动设备等)数量呈指数级增加,海上移动终端对计算资源需求不断增加。陆地通信技术的快速发展使人们适应了拥有互联网的生活,在陆地环境中对互联网的高度依赖,促使涉海人员对海洋物联网同样产生高度依赖。海洋物联网利用互联网技术,将智能设备相互联通,构造出一个覆盖海洋环境的物与物互联网络,获取大量海洋数据并进行实时分析处理,实现对海洋设备系统
现今人机交互的工作场景越来越丰富,识别作业者大脑的工作负荷(脑力负荷)水平并做出及时警示,能有效减少意外事故发生率以保证生命安全,并且在一定程度上提高工作效率。心电信号(electrocardiogram,ECG)不能人为地控制和伪造,而且心电信号的采集安全、便宜、无创,并且易于使用,不会影响从事危险工种人员的日常作业。心电信号的自动分析技术是目前脑负荷分类中的一个重要课题,但是由于心电信号的个体