基于双路网络及注意力的自动图像修复

来源 :中国医科大学 | 被引量 : 0次 | 上传用户:boluoxj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目的:组织切片在组织学与病理学的研究中具有十分重要的作用,通过切片可以观察细胞、组织的形态结构,判断细胞组织的形态变化。在临床上,切片也能够反映出组织细胞的多方面、多层次的信息,让病理学的诊断更加科学。但是组织切片的制作难度大,环节多,在制作的环节中难免使切片产生破损,导致切片无法使用,影响后续试验的研究。本研究的目的旨在对破损的切片图像上的破损区域进行自动识别分割,进而利用连续切片中的相邻图片信息对破损区域进行修复。研究方法:本研究选用三种小鼠肾脏连续切片图像,分别为小鼠出生后7天(N7)数据集803张图片,胚胎17天(E17)数据集701张图片和出生后5天(N5)数据集413张图片。本实验采用了两阶段的基于双路网络及注意力的深度学习网络。将图像分割的功能嵌入到修复网络中,让网络可以在第一阶段中自动识别出破损区域并在第二阶段指导网络精确修复破损区域;引入Transformer到图像修复领域,利用自注意力机制提取全局特征及门卷积对未破损区域重点提取特征,并通过连续切片中的相邻图片为修复提供额外的组织结构特征,最终保证图片结果的准确性。实验在N7数据集上训练测试后,在E17与N5数据集上对模型泛化能力进行测试。结果:本研究将N7数据集按照6:2:2的比例分为训练集,验证集与测试集。在破损区域的的识别分割上,我们的模型表现良好,最终结果dice达到0.9927,精确性达到0.9995,召回率达到0.9996,特异性达到0.9994,IoU达到0.9990。对破损区域的修复上,FSIM达到0.9478,MS-SSIM达到0.9592,PSNR达到29.7903,VIF达到0.8543,FID达到25.2252。结论:本研究设计了一个基于双路网络及连续感知Transformer的自动修复网络以实现自动识别检测破损区域的位置并将其修复的目标。利用连续感知Transformer同时在破损图像与相邻图像提取特征,使得网络即使在修复破损区域很大的图片时依然取得较好结果。本实验的自动修复网络无需输入图像中破损区域的mask,可以有效减少人工标注破损位置的工作量,提高了修复的效率与准确性,更加有助于基础肾脏学的研究。
其他文献
目的:构建在线学习环境下大学生学习者特征评价指标体系,并确定各级指标相对权重。方法:运用文献研究法,检索国内外数据库、网站,初步构建学习者特征评价指标体系框架及指标。通过焦点小组访谈,对学习者特征指标进行进一步修改和完善。进行德尔菲法专家咨询,收集专家修改意见及其他建议,对评价指标进行修正,直至专家意见达成一致,计算专家积极系数、权威系数、协调系数、指标重要程度和变异系数,最终确定在线学习环境下大
目的:近十年来,有关急性呼吸窘迫综合征(acute respiratory distress syndrome,ARDS)的论文已达数千篇。本研究旨在利用文献计量学方法评价急性呼吸窘迫综合征的研究热点和未来发展趋势。方法:检索Web of Science核心数据库2010-2019年所有与ARDS相关的文献,检索策略为主题词=(“ARDS”或“acute respiratory distress
目的:本研究旨在将ECG原始数据高保真、高通量的转化为便于进行挖掘的特征数据,并进行筛选,以提升ECG的量化分析能力。本文选取我国北方典型城市沈阳为研究地区,研究心电信号多维度特征,验证特征有效性并进行可解释性分析。方法:通过SQL Server搭建数据库;构造包括基本统计特征、时域特征、信号因子特征、高阶过零分析、频域特征、空间域特征、非线性特征、相邻电位共生矩阵特征、宏观特征在内的9种特征共4
高强度功能训练(High-intensity functional training,HIFT)是一种新兴健身方式,在国外的军事、竞技体能训练、大众健身等领域备受青睐。HIFT是一种在相对高的强度下进行各种形式的功能性健身方式,强调多关节、功能性、高爆发、持久性的全身性运动,目的是改善一般身体素质和运动表现。文章通过梳理和回顾现有研究并简述HIFT的释义、训练方法及适用领域,重点讨论HIFT引起的
目的:近年来麻醉药物在临床上的联合应用越来越普遍,为了能给临床给药提供更有效的指导,麻醉药物相互作用及其药效学的研究也越来越深入。目前的研究中多采用响应曲面模型对麻醉药物药效学的相互作用进行分析,但不同的响应曲面模型针对不同的药物及药效有不同的效果,在临床实际应用的过程中可能会造成许多不便。本研究将使用机器学习的方法对麻醉药物的联合药效进行建立模型,为今后机器学习在麻醉药效学上的研究提供一定的理论
目的:随着低剂量计算机断层扫描(CT)和肺癌筛查的普及,肺磨玻璃结节影(GGO)在临床实践中的诊断越来越多,已成为肿瘤学中一个重要的临床难题。据报道,GGO的癌症发病率高达63%,因此鉴别良恶性GGO对于延长肿瘤患者的生存时间具有重要意义[1]。深度学习是目前正在快速发展的新兴学科,它通过对患者的CT图像进行定量分析,特征提取,可以对患者的临床诊治提供一定的帮助。本研究旨在开发一种计算机辅助诊断(
目的:小鼠肾脏切片图像用于组织学研究中的三维重建。3D重建微结构相较于传统断层图像可以提供更多的空间信息,同时帮助我们了解病例生理学机制。连续切片的组织学成像方法提供了具有丰富染色体信息的核酸/蛋白质标记信息的超高分辨率图像,这是OPT或小动物MRI无法提供的。因此,对切片图像的处理一直是组织学研究中的主流程序。研究方法:在本研究中,选取了小鼠肾脏连续切片图像,包括N7,N5,胚龄17天E17的数
目的:基于视网膜的身份识别是目前具有较强稳定性、准确性及应用意义的识别方案,但由于疾病或者个体、组织死亡使得角膜发生混浊,致使采集到的眼底图像混浊不清,本研究的主要目的是设计一套眼底图像去雾增强算法,恢复并增强眼底图像原有信息特征,便于眼底图像的后续应用。研究方法:本文算法根据大气散射模型,首先利用线性对比度增强提高图像中光斑和目标区域的差别,选取亮度、梯度阈值对图像分割为目标区域及干扰区域,基于
目的:本研究基于“以疾病为中心”的教学模式理念,利用本体模型构建与脑出血相关的临床课程知识点和医学基础课程知识点的关系网络,并在习题知识库中加以应用,最终实现脑出血相关的医学基础课程知识章节和相应习题的检索查询,以期为医学教育信息化发展中教学模式改革和信息资源共建共享提供参考。研究方法:以医学课程知识为研究对象,采用专家咨询获取以“脑出血”课程知识点为中心的相关医学基础课程章节知识点;遵循本体构建
目的:本文旨在探究基于多序列MRI的影像组学模型鉴别软组织肿瘤良恶性。方法:本文的研究对象是同时具有T1平扫(T1WI)序列和T1增强(T1C)序列的85例软组织肿瘤患者(良性34例,恶性51例)。实验共分为三个阶段,分别在第三、第四和第五章具体介绍。第三章使用支持向量机和K近邻机器学习分类器预测软组织肿瘤的良恶性,并结合两个MRI序列构建集成分类器。第四章采用k-means无监督聚类算法基于灰度