基于多头自注意力机制和遮盖训练方式的功能脑网络的构建

来源 :陕西师范大学 | 被引量 : 0次 | 上传用户:KANTB
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对大脑各种功能实现的探索一直是热门研究领域,这对于研究大脑的工作机制甚至各种疾病原理有着重要意义。此外,各种非侵入式大脑成像技术的发展也为人类对大脑的研究提供了各种新的可能,其中功能磁共振成像(functional magnetic resonance imaging,f MRI)技术因其优越的条件成为目前研究大脑最有效的技术之一。功能脑网络是研究大脑在某一项功能的实现中各区域之间相互合作,并将有相关联系的区域进行一起定位的一种研究大脑功能的网络模型,功能性脑网络的构建和映射一直是脑科学中一个重要的问题。现有的研究方法有以一般线性模型(GLM)、稀疏字典学习(SDL)为代表的经典方法,也有在机器学习以及深度学习领域的各种模型。但这些方法都存在着各自的不足,例如:因基于独立性、线性等假设而存在建模偏差的问题;这些方法在模型的定义和训练中没有充分利用到先验知识、没有考虑到f MRI数据本身的特征,在一个f MRI时间序列中,不同时间点的相同信号值可能代表着不同的状态/任务或意义。基于现有方法的不足之处,本文总结了国内外发展现状,结合现有的深度学习方法提出了一种基于多头自注意力机制和遮盖训练方式的新模型(MAMSM)进行功能脑网络的构建。本文的工作主要包含以下几个部分:(1)数据的预处理:将f MRI数据进行颅骨去除、运动校正、归一化等预处理,并将其配准到标准空间。(2)模型的搭建和应用:MAMSM模型的核心由包含多头自注意力机制的多层Transformer编码器组成,在预训练时采用了遮盖部分序列的训练方式。由于预训练后编码器提取出的特征维度过大,所以添加了特征选择层对特征进行进一步处理以找到最有效的特征。将选择后的特征进行拉索回归稀疏表示后映射回原三维大脑空间进行脑网络的可视化显示。(3)对比实验:将本文提出的模型与三种现有的构建脑网络的方法进行对比实验,将结果进行多维度的比较,以此对模型进行性能的评估。本文提出的模型在本领域具有一定创新性。首先,结合f MRI数据自身特点使用多头注意力来估计体素信号在不同时间点的具体状态;其次,本文将文本序列建模中的遮盖预训练方式应用在MAMSM模型中对f MRI数据进行预训练,是对f MRI数据处理领域的首次尝试,并且在遮盖处理时采用了连续和离散两种方式;最后,本文充分利用先验知识定义了一个更适合f MRI数据的新损失函数,用于模型的后续训练。本文将模型应用在人类连接组项目(HCP)数据中,提取出特征矩阵与功能脑网络。为评估其性能,将本文方法与GLM、SDL等方法进行了对比实验,实验结果表明,本文模型提取出的特征矩阵与功能能脑网络的性能较对比方法有显著提升,证明了本模型的有效性。
其他文献
聚乳酸(PLA)作为生物基聚合物,可有效代替石油基产品。同时,完全符合我国“碳减排”大政策,可有效缓解白色污染及环境污染。目前为止,聚乳酸在生物医学、快递包装、组织工程、抗癌领域、纳米生物复合材等领域中表现出优异且独特的性能。然而,聚乳酸机械和物理性能不如石油基材料且生产成本是传统塑料的3~5倍。因此,研发出经济使用的聚乳酸成了重中之重。简要的讲述了PLA在包装行业、组织工程领域及生物医学方面的应
期刊
在常见的光学电器中,光扩散板是非常重要的一个元件,其可以作为光学器件的一层保护膜,使光学电器不受破坏,广泛的应用于液晶显示、LED照明以及成像显示系统中。对于光扩散板,当有光通过时,可以通过将点光源转变为面光源从而使光电转换效率和光源利用率提高,同时可以提高光学电器的使用舒适度。经过不断的仿生研究发现,微米凸起和纳米乳突复合结构具有高雾度,高透过的特点,但是这种微纳复合人工仿制结构的制备却寸步难行
学位
氧化石墨烯是一种具有亲水边缘、疏水基底面和大平面的二维纳米材料,研究它与生物大分子的相互作用和正确理解其与生物系统的相互作用机制对拓宽这种新型纳米材料在生物医学领域的应用具有关键意义。溶菌酶,也被称为胞壁质酶,可以降解革兰氏阳性细菌细胞壁中的肽聚糖,导致细菌溶解达到杀菌效果。由于其在广泛的温度和p H范围内具有高稳定性,因此在众多领域得以重用。此外金属离子在生物体中虽然含量较低但是也对代谢等多个生
学位
目的 了解高原地区医务人员急危重症诊治相关培训的现状及需求,为进一步开展高原地区医务人员急危重症诊治相关培训提供参考。方法 2018年7月1日-2020年7月31日采用简单随机抽样法随机选取西藏地区医院医务人员(包括医师、护理人员及其他医务工作人员)进行匿名问卷调查,调查高原地区医务人员接受急危重症诊治培训的内容及需求,并进一步比较不同级别医院医务人员接受急危重症诊治培训的内容及需求。结果 本研究
期刊
R&B(Rhythm and Blues,简写为R&B,中文译为节奏布鲁斯)是当今世界上最受欢迎的流行音乐风格之一。20世纪四十年代,R&B在美国南方的黑人社区教堂诞生,由于它极具律动的节奏以及其优美的歌词,随后在整个美国得到了迅速的发展,因此这种音乐风格是欧美国家,尤其是非裔美国人最擅长的音乐风格之一。近些年来,国外对R&B音乐风格的研究主要集中于音乐背景、具体唱法以及与其它音乐风格的融合研究。
学位
人类的正常沟通和交流离不开健康的嗓音,不当用声、过度用嗓等多种因素使得现代喉嗓疾病频发,给人们的工作和生活带来诸多不变。传统临床诊断方法采用电子喉镜、喉肌电图、内窥镜等侵入式手段,不仅给患者带来痛苦且容易造成二次伤害。基于语音样本的特征提取与识别逐渐走入研究人员的视野,采用智能化深度学习识别框架能够对病变情况客观、无痛、非侵入式的检测,对喉部疾病的早期诊断和处理具有科学指导意义。病理嗓音检测与诊断
学位
相较于模拟图像处理技术,数字图像处理有着诸多先天优势,图像分割技术作为数字图像处理技术中一个重要研究领域,是图像增强、图像识别等技术实现的重要一环。在诸多图像分割算法中,模糊聚类图像分割算法因其模糊分类特性,使其更适合图像信息的处理,成为一种常用且高效的图像分割算法。研究人员通过向经典模糊聚类分割算法引入空间邻域信息提升算法抗噪性能、使用直方图降低冗余提升算法执行效率、使用核函数提升算法鲁棒性等方
学位
在移动互联网和大数据日趋普及的当代社会,智能信息处理技术的疾速发展和数字图像在互联网上的病毒式传播,导致了视觉图像侵权恶性事故的高频度发生。在数字版权保护时代,能否保证数字化图像在网络中的安全传输已跻身于民众普遍性关注的难题之首。数字图像水印应用技术是世界公认的图像版权保护最有效的手段之一,倍受研究者青睐。实际上,现有的图像水印底层算法针对灰度图像的居多,完全用于彩色图像的水印实现算法寥寥无几。不
学位
在汽车的各个装备系统中,雨刮器是其中极为重要的一个环节,其最直接的功能就是在雨雪天气下开车时,可以清洁掉落的雨滴雪花等异物,保证驾驶员视线不被干扰。但是传统雨刮器存在着清洁雨滴不彻底且雨雪天遮挡视线的问题,对驾驶员的行车安全造成了极大的威胁。除此之外,随着雨刮器的使用次数增加,刷杆也容易腐蚀生锈,造成刷雨不均,它的清洁效果也会越来越差。因此,能够在清洁效果上对雨刮器进行改进是现代汽车装备所追求的目
学位
<正>近年来,医药领域垄断行为一直是有关部门的监管重点,国家市场监督管理总局等部门多次查处相关涉事企业。市场监管总局近日公布的2023年民生领域反垄断执法专项行动第一批典型案例中,5个发生在药品领域。但目前急抢救及供应短缺药品原料药和制剂被控制、被垄断现象仍然存在,引发药品价格上涨甚至断供,严重扰乱医药行业正常竞争秩序,增加患者用药成本和国家医保支出,损害患者健康利益。
期刊