低资源语料库下基于变分推理的医学对话生成研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:liongliong438
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着生产水平的提高,人们的生活水平有了很大的提升,健康越来越受到大众的关注,人们对于及时准确的医疗诊断需求愈发的强烈。然而,中国人口基数庞大,现阶段医疗环境存在诸多问题,其中最严重的是许多医疗岗位存在巨大人员缺口,且由于区域发展差异,我国医疗资源分布极度不均衡。在人们的急切的医疗需求下,当前的医疗在线诊疗网站如雨后春笋般涌现,如春雨医生,好大夫,拇指医生等。很多的在线咨询医疗诊断对话在匿名化过后被公开,在互联网可以很方便地获取。同时因为众多研究人员的努力以及实体,关系抽取技术的发展,大量的常识知识和医疗知识易于获得。通过医疗知识图谱中的疾病症状之间的关系,即使是不具备医学背景的人也能根据症状大致了解病情。大规模的开放医疗知识对于提升辅助诊断系统的诊断和开药等推理能力有较大的帮助作用。同时因为大规模的医疗对话数据与当前的深度神经网络的发展,使得通过数据驱动的方式结合外部医疗知识构造一个辅助诊断医疗对话系统成为可能。医疗对话生成旨在提供自然和准确的回复,以帮助医生有效地获得诊断和治疗建议,达到辅助诊断的目的。在医学对话中,有两个关键特征与回复生成相关:患者状态(如症状、药物治疗)和医师动作(如诊断、治疗)。在医疗场景中,由于标注成本高和隐私保护的要求,通常无法获得大规模的人工标注。因此,当前的医疗对话生成方法通常不会显式地考虑患者状态和医师动作,而是专注于隐式表示。本文提出了一种端到端的变分推理方法来进行医疗对话生成。为了能够处理只有少量标注的数据集,本文将患者状态和医师动作作为先验分布为类别分布(Categorical Distribution)的隐变量(Latent Variable),分别用于显式的患者状态跟踪和医师策略学习,这使得模型可以使用部分标注的数据进行半监督学习。为了求解存在隐变量的问题,本文定义了一种变分贝叶斯生成方法来近似患者状态和医师动作的后验分布,并且使用高效的随机梯度变分贝叶斯估计方法来优化Evidence lower bound的下界。并且,对于模型的参数优化过程,本文提出了一种两阶段级联推断(2-stage collapsed inference)方法以减少模型训练期间的偏差。为了增强模型的推理(Reasoning)能力,本文提出了一种由动作分类器和对偶推理检测器、即上下文推理检测器和图推理检测器组成的医师策略网络。模型在测试阶段的输出的位于知识图谱上的显式推理路径,患者状态和医师动作的显式文本序列有助于提供更具可解释性的对话回复生成结果。本文对从医疗咨询平台收集的三个数据集进行了实验。实验结果表明本文所提出的方法在客观和主观评价指标方面均优于最先进的基线模型。本文的实验还表明了文中提出的半监督推理方法实现了与最先进的完全监督的医师策略学习基线相当的性能。
其他文献
近几年来,区块链技术蓬勃发展,不仅是公开密码货币(例如,比特币)的核心机制,还广泛应用于金融、医疗等多个领域,引起了学术界和工业界的极大的关注。同时,它也是城市/工业物联网和人工智能领域的重要组成部分。近年来,物联网发展迅速,广泛应用于智能家居、智慧物流、智能制造等领域。然而,在物联网发展的演进过程中,主要存在以下五个方面的问题:异构性、互操作性差、资源受限、隐私性和安全性。其中,最受诟病的是安全
学位
近年来,随着国际汉语教育的发展,主题式教学已广泛用于海外中小学的汉语教学中,但以商务为主题的汉语教学并不多见。特定的商务主题俱乐部课程因其趣味性、真实性、实用性等特点能提高中学生学习汉语的兴趣,促进学生的认知和批判性思维能力发展。同时解决和改善汉语俱乐部课程的现有问题。本文以英国中学教育为研究背景,以英国中学的汉语俱乐部课程为研究对象,以自主设计的商务主题汉语课教学设计为研究重点,结合自身课堂教学
学位
公司利润分配具有“自治”属性,但公司大股东滥用权利,致使公司不分配利润,以各种变相分配和隐藏转移利润等不法方式,损害中小股东利润分配权,严重破坏了公司自治,这在封闭式有限责任公司中表现尤其明显。虽然《公司法》规定股东利润分配权受损,可通过股权转让、股权回购等方式获得救济,但这些救济并未从根本上针对性地解决问题。2017年《公司法司法解释(四)》第15条为司法介入公司利润分配提供了明确依据,但书规定
学位
作为法兰克福学派重要代表人物之一的赫伯特·马尔库塞,毕生致力于揭示和批判发达资本主义社会对人的普遍压抑,探寻实现人类自由与解放的方法。他认为在新的时代背景下,马克思主义出现了危机,传统的暴力革命已经无法实现,必须走非暴力反抗性质的乌托邦解放道路。因此,马尔库塞将乌托邦思想与社会批判理论相结合,努力为实现人的自由和全面发展寻找新的路径。本文以马尔库塞乌托邦思想的现代性批意蕴为研究对象,通过对马尔库塞
学位
目的:探讨中药复方治疗外阴上皮内非瘤样病变的用药规律。方法:检索目标数据库,筛选出中药复方治疗外阴上皮内非瘤样病变的文献,提取复方内容并建立数据库。采用Excel 2019、SPSS Modeler 18.0、SPSS 22.0软件对药物进行用药频次、关联规则、聚类分析。结果:共纳入复方131首,共使用中药158味,高频使用药物主要为清热药、补虚药、解表药,使用频数最多的5味药物为苦参、黄柏、蛇床
期刊
习得顺序的研究一直是二语习得研究的重点内容之一。“全”类副词亦是对外汉语教学中的重点内容之一,本文所研究的“全”类副词主要包括“全”、“完全”、“全部”、“全都”四类,留学生使用的频率较高,也容易产生各类偏误。在本文的研究中,我们首先对“全”的各个义项进行分析和分类,考察其历时发展顺序和语义关联顺序,综合分析得出其预期的习得顺序。然后,本文通过语料库对留学生习得“全”类副词的顺序进行详细的研究与分
学位
迭代选举每轮移除一些候选人直到剩余的候选人对于给定的投票规则都有相同的分数。著名的迭代投票规则包括Hare、Coombs、Baldwin和Nanson。Hare、Coombs、Baldwin投票规则分别在每轮移除plurality、veto、Borda分数最少的候选人,而Nanson投票规则移除了所有低于平均Borda分数的候选人。最近,已经有前人发现了迭代选举中存在一些理想的性质,例如多项式时间
学位
约翰·泰特是美国著名数学家和数学教育家,是20世纪最具开创性的数学家之一。泰特有关类域论的工作是现代数论的基础,他引入泰特上同调群、泰特定理和泰特猜想等,推动了代数数论及代数几何等学科的发展。同时他以严谨的科研态度和因材施教、教学相长的教育理念为数学界培育了大批优秀人才。泰特认为对学科的热爱、好奇心、奉献精神、勤奋和毅力是数学家取得成功的真正重要的精神气质。他本人的智慧、谦逊、慷慨、友好和对作品追
期刊
硼酚醛树脂的高温稳定性和耐烧蚀性能较好,在抗激光烧蚀领域有巨大的应用潜力。以硼酚醛树脂为基体,以碳化硅/二氧化锆/纳米炭黑为无机改性填料,制备新型硼酚醛树脂基激光防护复合涂层,并对其抗激光烧蚀性能进行研究。结果表明:复合涂层具有良好的抗激光烧蚀性能,经平均功率为500 W/cm~2的高斯光斑激光烧蚀15 s后,涂层整体完好,质量烧蚀率仅为0.011 g/s,同时基体材料背表面无损伤,最高背温仅为2
期刊
住房问题自古以来就是关乎人民切身利益的重大民生问题,同时也是影响国家社会发展的经济问题。住宅问题作为束缚人的自由全面发展的重大障碍也一直受到马克思恩格斯的重视。西方社会进入工业革命以后,城市化进程迅速铺展开来。当大批工人被迫从家庭手工作坊涌向城市的时候,按照资本逻辑进行布局的城市空间却将他们抛上街头。于是就出现了工人以及小手工业者的住宅短缺问题,《论住宅问题》于这一社会背景下问世。这篇经典著作以三
学位