【摘 要】
：
得益于深度学习的迅猛发展,信息检索领域中基于深度学习的检索模型也层出不穷。自预训练语言模型提出后,信息检索领域相关研究更是进行得如火如荼。作为信息检索领域的子领域,生物医学文本检索领域的研究却因为数据集不全、处理难度高等原因进展缓慢。但生物医学文本检索的发展对于人类健康有着重要的意义。尤其自新冠疫情以来,人们对健康问题的关注度更高、对生物医学文本的需求也更加迫切。因此,本文尝试将信息检索领域的研究
论文部分内容阅读
得益于深度学习的迅猛发展,信息检索领域中基于深度学习的检索模型也层出不穷。自预训练语言模型提出后,信息检索领域相关研究更是进行得如火如荼。作为信息检索领域的子领域,生物医学文本检索领域的研究却因为数据集不全、处理难度高等原因进展缓慢。但生物医学文本检索的发展对于人类健康有着重要的意义。尤其自新冠疫情以来,人们对健康问题的关注度更高、对生物医学文本的需求也更加迫切。因此,本文尝试将信息检索领域的研究进展迁移至生物医学文本检索领域以探究其有效性,并针对生物医学文本检索任务的特殊性提出改进方法来提高检索效果。首先针对生物医学文本检索领域中的精准医学文本检索任务进行探究,精准医学文本检索任务是为癌症患者检索治疗方案相关的医学文献。本文针对该任务独有的“精准”特性,将原任务拆分成一个文本分类任务和三个文本匹配任务,利用任务之间天然的关联性提出了基于多任务学习的方法。使用深度学习中的循环神经网络模块提取查询与文档的语义特征,使用卷积神经网络提取查询与文档之间的匹配特征,使用注意力机制和深度神经网络进行文本分类和相关性判断,实验结果表明,利用多任务学习的方法从多维度进行相关性判断能够更加准确有效地检索到相关文档。并且本文提出的模型仅由深度学习中的基础模块构建而成,在模型参数量远小于预训练语言模型的情况下取得可媲美预训练语言模型的效果。接着本文对预训练语言模型在生物医学文本检索重排阶段的应用进行探究。将在信息检索领域所使用的模型迁移至生物医学领域。对不同的模型结构、训练框架和负采样方法等进行细致探究,以验证这些模型的有效性并探究何种配置能最大限度挖掘出预训练语言模型的潜力。实验表明这一系列配置的选择对模型效果影响非常大,需要针对任务进行合适的配置才可取得更好的效果。同时本文针对生物医学文本检索的半结构化查询的特征提出了多字段交叉预训练语言模型mfcBERT。实验证明该模型能够提取更加丰富的查询文档交互特征,从而够进一步提升检索效果。最后本文针对信息检索研究领域最前沿的结合精准匹配和稠密检索的模型COIL在生物医学文本检索召回阶段的应用进行探究。针对COIL模型存在的问题提出了带权COIL模型W-COIL。针对生物医学文本检索数据集标注数据不足的问题,本文提出三种方法从文档集中自动构建出训练集。将在MS MARCO数据集上训练好的COIL模型进一步利用在本文构建的训练集进行训练得到的W-COIL模型。实验证明W-COIL的在生物医学文本检索的表现优于其他模型。
其他文献
长非编码核糖核酸（long noncoding RNA,lnc RNA）作为具有代表性的一类非编码核糖核酸（non-coding RNA,nc RNA）,通常被认为不具备编码蛋白的能力。然而,最近研究发现,部分lnc RNA含有不超过300个核苷酸的小开放阅读框（small open reading frames,s ORFs）具有编码小肽的能力,打破了人们对nc RNA不能编码的传统认知,且在后
遥感图像的三维建模及渲染方法是地理信息技术、数字图像处理、人工智能和计算机图形学等领域的热点研究之一,其在地质研究、国土资源监测、城市建设等诸多领域有着不可替代的作用。随着近年来大规模开放世界、数字孪生城市和元宇宙等前沿研究概念的提出和发展,业界对高效率、高质量、迭代速度快、泛用性强的三维遥感图像建模方法和渲染方法的需求日益迫切。为了解决这一问题,本文将三维过程化内容生成（3D Procedura
近些年,深度学习技术的迭代发展促使生产生活愈发智能化。在人机交互、安全监控、体育训练等多个领域内,动作识别技术有着极大的社会需求和发展前景。动作识别任务包括针对如视频模态、骨架模态等不同输入数据模态的子任务。相较于视频模态等其他数据模态,骨架模态可以避免背景信息的干扰,近年来,图卷积理论的提出与完善促进了骨架序列动作识别技术的发展。然而,现有基于图卷积的骨架序列动作识别方法仍存在局限性。本文从网络
图像抠取（Image Matting）是指从一张任意输入的图像中精细地抠取出用户所感兴趣的前景物体,该前景可以为人、动物、植物或网状等类别。被抠取的前景可以被多个应用领域所使用,譬如:绿幕电影拍摄及制作、虚拟现实（Virtual Reality）和增强现实（Augmented Reality）、在线会议背景替换、网络主播换装等。随着大数据时代的到来,海量的互联网数据对图像抠取算法带来了一系列新的挑
数据检索是机器学习中重要的研究领域。机器学习算法对数据潜在信息挖掘能力的提升,以及提取的表征对数据相似性可衡量能力的增强,对检索任务而言有着非常重要的研究意义。凭借执行效率高和存储空间低的特点,哈希学习在检索领域中被广泛地研究和应用。哈希学习方法将高维原始空间的数据进行降维处理和编码操作,并映射成短小紧凑的二进制向量。该短小的编码在保持数据间相似性关系的同时,不但提升了检索效率,而且降低了数据存储
随着社交媒体平台的发展,互联网极大地拓展了人与人之间交流沟通的渠道。海量的对话文本在网络上不断地被发布、传播和共享,其中蕴藏了大量用户的主观感受与情感倾向,需借助人工智能等技术进行分析与挖掘。对话情感分析任务为在对话场景下分析语段的情感极性或情绪类别,因对话具有多样的表达方式、复杂的逻辑结构和耦合的情绪因素,使得该任务成为文本情感分析领域的研究热点。本文按短对话到长对话、单标签至多标签的逻辑逐步深
生物医学是一门前沿交叉学科,与人类的健康和生命息息相关。近年来,生物医学领域的电子期刊和文献数量飞速增长,用生物医学文本挖掘技术自动发现隐藏在这些非结构化数据中的领域知识是本领域进一步发展的关键。文档级生物医学关系抽取作为生物医学文本挖掘的一个重要分支,旨在从非结构化的生物医学文档中自动地抽取出存在的关系事实。目前,基于深度学习的方法是处理文档级生物医学关系抽取的常用方法。一方面,在文档级生物医学
在生物医学领域,数量庞大的医学文献逐渐构成了一个丰富的知识宝库,医学文献作为一种重要的知识来源为相关研究者们提供了重要的医学信息,有助于临床诊断、医疗问答系统等相关研究的发展。但是由于数据的增长是十分迅猛的,因此如何准确地从生物医学文献中自动提取信息,如何有效地将非结构化文本数据转换成结构化数据,成为生物医学自然语言处理领域研究的重要方向。本文旨在利用文本分类技术和关系抽取技术对生物医学领域的文本
三维重建是计算机视觉领域重要的研究方向之一,在文物保护、虚拟现实、机器人与自动驾驶等领域都有着广泛的应用。近年来,三维重建领域得到了快速发展,但三维重建模型仍有缺陷。受遮挡和距离传感器等内在因素影响,三维重建模型存在不同程度的缺失情况,因此引入三维补全进行修复。三维补全是三维重建领域中的一个重要研究方向。传统补全方法通过挖掘几何线索或匹配数据库模型实现补全,依赖于先验知识或数据库容量。深度学习方法
多任务优化是当前智能优化领域的热点之一,多任务优化算法在优化多个彼此相关的任务时,通过迁移任务之间的有效知识来提升各个任务的表现效果。但传统的多任务优化算法通常用于优化规模较小的任务组,在面对任务量较大的优化场景时,会出现迁移效果变差、计算成本升高、任务收敛变慢等问题。为解决这些问题,研究者们提出了多任务质量多样性算法,它能够生成大量多样化且表现效果好的解决方案,在一些特定场景下可以同时解决大量任