基于BioBERT混合模型的医学命名实体识别方法研究

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:jinz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
医学命名实体识别是自然语言处理任务中举足轻重的信息抽取任务之一,旨在通过基于规则、深度学习等方法从生物医学文本中识别具体特定的医学实体,在多数深度学习的方法中,由于模型其本身存在计算量大、识别效果等问题。本文针对上述问题,主要工作如下:一是针对模型计算问题,本文在BioBERT的基准实验的研究基础之上,通过在数学逻辑层面的分析,在训练阶段基于BioBERT模型以数学角度分析采用逆方根线性单元(ISRLUs)计算,将导数由指数构成的GELUs优化为导数由多项式构成的ISRLUs,减少计算消耗,优化反向传播速度。二是针对BioBERT获取上下文信息不足的缺陷,本文分别研究了BioBERT结合双向长短期记忆网络与条件随机场概率模型和使用ISRLUs的混合模型,并使用4个医学公开数据集验证了本方法的实体识别效果和计算时间的减少。三是在不完全替换BioBERT激活函数GELUs的情况下,探究GELUs的局部改进方法,用两种复化积分计算替代原有tanh拟合近似计算(),避免近似计算缺陷问题,为神经网络中特殊函数拟合提供参考。
其他文献
多环芳烃具有较低的水溶性、高脂溶性以及致癌、致畸、致突变性,被定义为持久性有机污染物,是土壤、自然水体和废水中最普遍的有机污染物之一。目前有机污染场地常用的修复技术有热脱附、生物修复和化学氧化修复,其中化学氧化修复技术在国内有机污染场地修复中所占比例逐年快速增加,但是残留氧化剂、副产物等产生的再利用潜在腐蚀风险问题也引起了研究人员的关注。通过实际调研和网络检索对国内137个实际修复案例进行研究分析
学位
近些年来,随着人工智能与大数据技术的发展,智能对话助手的应用场景越来越广泛,人们不再满足于智能对话助手简单的问答功能,赋予智能对话助手情感成为人们下一步的研究目标,对话情感识别也因此受到了研究者们的关注。公用对话数据集的涌现和多媒体处理技术的发展也为对话情感识别任务提供了便利的条件。本文基于多方对话情感识别数据集MELD和多方对话关系抽取数据集Dialog RE展开研究,针对多方对话中的说话者,上
学位
肌肉系统是驱动人类日常运动的一种生物结构型执行器,具有适应性好,功能性强、灵活性高的特点。将肌肉模型应用到半被动双足机器人中,增加机器人系统结构的柔顺特性和仿人特性,在双足机器人行走时就能表现出更好的稳定性和鲁棒性。本文从仿人行走步态控制机理出发,研究了基于肌肉模型的半被动双足机器人在平面上的行走控制问题。该研究有利于探究人类自身的结构组成和行走规律,还能够为医疗康复设备、家庭服务机器人等提供设计
学位
作为医疗环节全过程重点监测对象之一,血压有着调节全身血液正常流动的重要作用,其实时监测对于临床手术中维持人体安全具有重要意义。传统机电式传感器作为常见监测手段,监测精度高,结果准确。但由于体积庞大,易受电磁干扰,导致其无法适应极端环境。光纤Fabry-Perot(FP)传感器因其独特的体积优势、多变的传感结构、强大的抗电磁干扰能力,逐步映入医疗工作者眼帘。基于此,本文提出了一种基于多光束干涉的光纤
学位
镁合金被应用于减少能源消耗的轻质工程系统当中,同时镁合金还在生物可降解材料及电池领域得到广泛应用。近年来,镁合金越来越收到人们的关注,作为轻质材料在数十年来被广泛应用于汽车、航空航天、运动设备、生物植入物以及航空等领域。然而镁合金耐蚀性、成形性较差,蠕变强度较低等缺点,限制了其广泛应用。采用微弧氧化(MAO)、聚合物涂层、化学转化涂层等高稳定性的涂层,是解决镁合金耐蚀性较差的有效方法之一。在这些改
学位
间歇过程广泛存在于食品、生物和微电子等生产领域,其频繁的操作切换使得整个过程包含了多个不同的运行模态,呈现出多模态特性,各模态具有不同的过程数据特征。随着信息与传感技术的发展和应用,间歇过程现场采集的大量生产过程数据为数据驱动的过程监控提供了重要支撑。然而,过程数据测量设备性能损失或受到干扰所产生的异常测量数据,直接影响了过程监控的有效性。未考虑过程多模态特性或只考虑单个模态内数据特征的测量数据异
学位
Fe/ZSM-5分子筛催化剂对N2O一步氧化苯制苯酚具有良好的初始活性和苯酚选择性,但因其易结焦引起的快速失活问题,严重制约着该工艺的工业化进程,究其原因在于反应-扩散偶和行为的匹配上。本文聚焦于小晶粒ZSM-5分子筛和介孔ZSM-5分子筛的可控合成、改性,及其催化N2O氧化苯制苯酚的内在作用机制,奠定Fe/ZSM-5分子筛催化剂进一步研发和工业应用基础。采用引入超声诱导的方法对纳米ZSM-5分子
学位
我国作为皮革生产大国,集中了世界皮革产量的四分之一。但是皮革在生产过程中会产生大量的含铬废弃物,其中我国每年产生30万吨,其主要为含铬革屑。目前针对于该废弃物大量使用焚烧与填埋手段,造成了极大的生物质资源浪费以及环境污染。因此,如此妥善处理这部分生物质废弃物,实现资源化、高值化的利用已迫在眉睫。本文从革屑的本质结构出发,分别就其不同层级结构,即革屑胶原纤维束,胶原纤维,胶原原纤维与胶原分子进行了相
学位
负载型钯(Pd)基纳米催化剂在液相醇氧化和碳碳偶联等可持续有机转化反应中应用广泛,其活性高度依赖于Pd基纳米粒尺寸及其与载体的相互作用。双金属Pd基催化剂中另一组分的电子协同作用可显著增强其催化活性。然而,传统浸渍还原和沉淀还原法所得Pd基纳米催化剂中Pd基纳米粒尺寸通常大于2 nm,极大限制其催化活性的进一步提高。发展超细Pd基纳米簇(<2 nm)催化剂的合成方法、探索Pd基纳米粒尺寸和双金属组
学位
船舶设计理念和设备技术逐步迭代更新,全封闭型船舶的占比逐渐升高,随之船舶内密闭空间的占比也逐渐提升。同时,船舶自身高设备密度、高人员密度、狭小通道的特性,带来的是气体组分监测及控制问题的突显。现今,船舶气体监控系统中,回风气体组分监测和末端舱室气体组分监测,均存在盲区。依靠人工操作的安全性、舒适性均存在问题。且在人工操作下,舱内气体参数不可避免的波动会激发有毒有害物质的释放,加重危害。为解决上述问
学位