基于深度学习的中文医疗社区答案选择算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:moke707
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,国内的在线医疗社区愈来愈活跃,一方面是因为传统门诊存在医疗资源分配不均匀造成拥挤的问题以及病患存在距离和时间上的限制,另一方面是因为新冠疫情下网上问诊既能缓解医院线下接诊的压力、向患者提供专业的医疗服务,还可以减少新冠病毒的交叉感染。但现有的医疗问答更多是以人工回答的方式,因此开发一个自动医疗问答系统能够有效地减少医生的工作量和缓解医疗资源的不平衡。而答案选择作为问答系统的关键组成部分之一,对答案选择算法的研究工作决定了自动问答系统最终输出的答案质量。本文首先阐述中文医疗社区答案选择算法的研究背景及意义,从基于特征工程的传统算法、纯深度神经网络算法、基于注意力机制的深度神经网络算法这三个方面对答案选择任务的研究现状展开详细分析,指出现有的答案选择模型存在的问题,并提出相应的解决方案。本文的主要贡献为:(1)针对中文医疗问答数据包含大量的专业术语,如何处理和表示这些医疗术语,让模型能更充分利用到中文文本中丰富的语义信息的问题。本文提出一种面向中文文本的语义特征信息提取方法。该方法先使用了由Word2Vec预训练得到的字向量对问答文本进行表征,字向量包含一定的语义信息,并且减少未登录词的出现概率、降低内存消耗。接着使用双向门控循环单元分别对问题和答案的字表征向量进行上下文编码,对汉字周围的上下文进行建模。然后使用多尺度卷积神经网络分别提取问题和答案在不同尺度上的语义特征信息,通过多尺度的卷积核在文本上的窗口滑动,可以从字、词、短语等多个不同的尺度进行语义特征挖掘。通过对比实验和消融实验证明了在上述模块的作用下能够从中文文本中提取有用的语义信息用于答案选择任务,提高模型的性能表现。(2)针对特定领域下的中文医疗问答场景,即当答案池由同一个医疗主题(例如:癫痫)采样组成,现有模型在对问题和答案的处理上存在“过度池化”的问题。本文提出的多尺度互注意力融合网络(MCFN)在互注意力融合模块中首先使用了互注意力机制对问题和答案之间的交互关系进行建模生成注意力信息,让模型可以同时重点关注问题和答案中有意义的文本内容。接着使用语义残差融合机制根据三种不同的对比操作对语义特征信息和注意力信息进行融合。在互注意力融合模块的作用下,MCFN在进行答案选择的时候,会根据问题和答案之间的交互信息去同时关注问题和答案文本中重要的文本信息,同时为了防止互注意力机制重点关注到与主题有关的文本内容,语义残差融合机制再次引入了之前提取的语义特征信息,使得模型可以关注到一些与主题无关但是比较重要的文本内容。通过对比实验和消融实验证明了互注意力融合模块使得MCFN可以很好地缓解“过度池化”问题。(3)针对Word2Vec无法根据具体上下文对词向量进行调整的问题,本文提出一种基于互注意力融合机制的BERT答案选择算法(BERT-CF)。BERT-CF使用BERT实现动态调整词向量的功能,并利用BERT预训练得到的先验知识和较强的表征能力。而互注意力融合机制使得BERT-CF在特定领域的答案选择任务中可以关注到除了自身或者非主题相关的其他重要文本信息。通过对比实验说明了BERT-CF在答案选择任务中突出的性能表现。为了验证模型的有效性,本文除了使用公开的中文医疗问答数据集c Med QA v1.0和v2.0,还构建了特定领域下的中文医疗问答数据集(中文癫痫问答数据集)。由实验结果可知,本文提出的MCFN和BERT-CF在三个数据集上的性能表现都超过了基准方法,并且超过在公开的中文医疗问答数据集c Med QA v1.0和v2.0上性能表现最好的模型。
其他文献
在语音处理的时候,常常会遇到多人同时说话,声音混合在一起的情况。根据有无混音,混合方式可分为瞬时混合和带混音混合。这些混合的声音会降低语音处理的效率和准确率。因此,人们希望能有效且快速地从混合的声音中提取出干净的声音。随着(深度)神经网络技术的快速发展和完善,语音分离领域涌现出很多基于(深度)神经网络的优秀算法。这些方法可以分为三大类:深度聚类、语义分割模型和“编码器-分离器-解码器”架构。通过分
学位
中国白酒是世界上知名的发酵酒精饮料,消费历史已超过5000年,在世界上享有盛誉。中国改革开放多年,经济腾飞、人民群众生活改善,消费者盲目追求名牌酒的现象频发,生产者为了获取更多利益,导致了用劣质酒假冒高档酒等一系列问题。在鉴别白酒真伪研究方向中,传统的电子鼻数据处理依赖于人工选择特征,预处理步骤复杂,通过传统方法难以提取到传感器响应变化的具体特征。为克服上述缺点,开发一项不依赖于精确的仪器分析或感
学位
随着医学研究的深入,房颤的危害性正逐步受到重视,房颤的监测与治疗已经成为研究热点。对房颤信号的时域特征和频域特征的分析有助于房颤患者身体状况的监测,有助于房颤及其并发症的研究。因此,房颤信号的实时提取具有重要的研究意义。基于模板匹配的单导联房颤信号提取方法运算简便但普遍有提取精度较低的缺点,而基于深度学习的方法虽然已被证明能准确地提取房颤信号,但同时也面临一些问题和挑战。现有房颤信号提取网络规模较
学位
旋翼无人机(UAVs)由于其简单的结构,强大的机动性,以及在商用和军事领域的巨大应用价值引起了研究者们的广泛兴趣。特别在过去的十年里,人们对在轻量级、短距离的空中运输技术的研究兴趣显著增加。轻量级、短距离的空中运输技术对快递配送,城际运输和紧急救援等都有重要意义。因此,作为结构最简单的无人机,悬挂负载的四旋翼无人机是在复杂或危险环境下进行物资转移和物资配送的重要运输工具。由于四旋翼运输系统是一个只
学位
仿人机器人机动的构型使得它具有开阔的应用价值。随着仿人机器人技术的成熟和完善,机器人逐渐掌握了从爬动、行走、跳动到奔跑、空翻的运动能力。在自然界中,许多动物善于运用环境改变自身的运动状态,比如转身或者减速急停。机器人在运动过程中如果来不及减速很有可能会直接与障碍物发生剧烈撞击。因此,如果运动的机器人在面对环境中的壁面障碍物时能够模仿其他动物通过规划和控制自身动作及运动策略让自身转向或者停下,将能够
学位
场景流表示动态场景中每个点的三维运动,其作为理解三维环境变化的基本特征,广泛应用于自动驾驶、运动分割和动作识别等领域。随着激光雷达技术的发展,点云成为三维数据的基本形式,直接从点云数据中估计三维运动逐渐成为研究热点。以往的点云运动估计任务主要面向自动驾驶场景,本文将其拓展到人脸运动估计应用,估计由表情变化引起的脸部运动,可以客观描述人脸表情,相较于传统二维人脸视频,运动信息更加准确,且不受拍摄角度
学位
随着非线性系统结构的日益复杂,控制系统将存在着各种非线性与不确定性因素。另一方面,引入系统的执行器也存在着各种各样的非线性约束,这不仅会使得整个控制系统的控制精度受到严重影响,对非线性系统的控制设计来说也带来巨大困难。比如精密控制中的压电位移台,除了其具有高精度、高响应等特点外,内部存在的磁滞非线性使得输出与控制输入之间呈非线性,对于许多不具备磁滞补偿能力的非线性系统来说磁滞非线性是不容忽视的,更
学位
中文成语多从中国古代寓言、历史故事、神话传说或者口语流传而形成,由于其表达形象且精炼的优点而常被人们应用于日常语言表达中。一般来说,成语通常由四个文字按照中国古汉语的语法组合而成。因此,短短四字成语所蕴含的语义往往比数十或数百个字的段落句子更加丰富,其表达的语义不能直接运用现代汉语来解释。目前自然语言处理领域对于中文成语的研究还处于初步阶段,主要有成语机器阅读理解和成语推荐等研究。而对于中文成语语
学位
<正>知行合一,这是思想政治理论课追求的终极目标。探究“知行合一”在高职思政课教改中具体应用,旨在进一步改革创新,挖掘思政理论精髓,拓展思政课堂视野,培养大学生对思政理论认同,以理论知识引导大学生行为实践,以科学引导方式来培养大学生理性认知。一、研究的意义为了实现思政课大提升、大格局,进一步开拓思政课教学视野、创新课堂形式,做到理论联系实际,帮助学生立大志、明大德、成大才、担大任。具体来讲,具有以
期刊
应《国家中长期科学和技术发展规划纲要(2006-2020年)》,服务机器人目前正处于快速上升阶段,而机器人的感知赋能因此逐渐成为一个研究热点。当前的服务机器人若要完成最基本的功能,主要的感知需求在于视觉算法的应用。针对家庭场景下的服务机器人,本论文基于深度学习网络设计了一个包含多个视觉任务,可应用在服务机器人上的视觉系统,并且以中国机器人大赛-助老服务机器人赛项作为落地场景,进行相应的介绍以及功能
学位