基于多任务学习的乳腺超声图像质量评价方法

来源 :中国科学院大学(中国科学院深圳先进技术研究院) | 被引量 : 0次 | 上传用户:wqvb1221
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在医工融合的大背景下,超声自主扫描机器人以其减轻医生重复性体力劳动、医患非直接接触、可远程诊疗等优点越发受到研究者的关注。超声图像的自动质量评价是超声自主扫描机器人的关键技术,其价值在于对机器人采集到的超声图像进行实时质量评价,生成反馈信号引导机器人的视觉伺服控制系统做出相应动作进而保证机器人所采集得到的超声图像质量。现有的机器人系统通常采用灰度、置信度图等像素级特征统计方法对超声图像质量进行评价,但临床医生对超声图像质量的评价不仅依赖于像素灰度值,还依赖于图像内容,因此现有的超声图像质量方法并不能足够准确地进行客观的质量评价。为了使超声图像质量评价方法更贴近临床判断过程、更符合临床实际需求,在本研究中,将深度学习方法引入医学乳腺超声图像的质量评价中,本研究的主要工作内容如下:(1)本文提出了一种基于双线性卷积神经网络的全局超声图像质量评价方法。在乳腺超声图像质量评价任务中存在着不同质量等级之间图像差异较小、相同质量等级图像之间图像差异大的特点,这与细粒度分类任务中的图像具有相似之处,因此将细粒度分类任务中的双线性卷积神经网络(Bilinear Convolutional Neural Network,BCNN)引入到超声质量评价任务中,使用BCNN模块对提取到的特征进行高阶特征编码融合,提升质量评价的准确性。此外乳腺超声图像在质量等级分布上存在着严重的样本不均衡问题,在本研究中使用加权采样的方式缓解了这一问题。通过BCNN方法与加权采样方法的结合,本研究提出的全局超声图像质量评价方法所得的结果与医生手工标注结果的一致性达到了0.842皮尔逊线性相关系数(Pearson Linear Correlation Coefficient,PLCC),这一结果优于传统的置信度图方法。(2)本文提出了一种基于多任务学习的乳腺超声图像分类与分割方法。全局图像质量评价方法对于含有病灶区域的超声图像存在着较大的偏差,这是由于医生认为含有病灶区域的超声图像的质量更多取决于病灶区域的成像状态,病灶区域的图像质量决定着整幅图像的诊断价值。为了判断乳腺超声图像中是否含有病灶区域,以及对病灶区域图像进行提取,本文使用了基于迁移学习的乳腺超声图像分类网络和病灶分割网络。在分割任务中比较了当下医学图像处理领域流行的分割网络模型U-Net、PSPNet以及Deeplab v3+三者在乳腺超声病灶分割任务中的表现。针对乳腺超声图像处理领域数据及标注稀缺的问题,引入多任务学习方法进行特征提取器的权值共享,改善模型的泛化能力,同时提升模型分类和图像分割的准确性。采用多任务学习方法之后分类模型对于乳腺超声分类的准确率达到了95.2%,分割模型对于乳腺病灶分类的准确率达到了0.920骰子系数(Dice coefficient,Dice)。(3)本文提出了一种基于图像分割的半参考病灶区域局部超声图像质量评价方法。一直以来困扰医学图像质量评价的问题在于缺少高质量的参考图像,针对这一问题本研究创造性地通过引入分割任务中得到的分割mask,将原本无参考图像质量评价问题转换为半参考图像质量评价问题。以分割所得mask作为参考图像,本研究中使用了四个病灶区域局部图像质量评价指标:病灶区域对比度、结构相似性、均方误差和信噪比,从图像语义结构及图像像素统计角度表征病灶区域局部图像与分割所得mask之间的相似性,使得所提出的超声图像质量评价算法具有较强的可解释性。为了得到病灶区域图像质量评价的结果,将四个质量评价指标及对应图像的医生主观质量评价结果输入到多层感知机中进行训练,使多层感知机具备乳腺超声局部图像质量评价的能力。在现有分割精度的情况下,本方法对于病灶区域局部图像的质量评价结果与医生主观评价结果的一致性为0.749 PLCC,如若分割精度足够高的情况下本方法的评价结果与医生主观评价结果的一致性可达到0.897 PLCC。
其他文献
土地盐渍化已经成为影响作物生长的主要因素之一,如何提高植物耐盐性已成为当前研究的重要课题。甜菜作为一种主要的糖料作物,主要分布在我国的黑龙江、新疆、内蒙古等地,与高盐碱土壤区有部分重合,在这种土壤条件下更需要对提高其耐盐性进行深入研究。实验室对甜菜进行全转录组分析,发现ATP硫化酶(ATP-sulfurylase,ATPS)基因和生育酚环化酶(tocopherol cyclase,TC)基因在盐胁
学位
当前,各类新兴光电信息技术快速发展,开发高效和智能的新型光电器件与系统成为研究者们孜孜以求的目标。在这一目标的指引下,选择并设计先进的器件架构和新颖的光电材料成为未来信息技术发展的主要趋势。其中,二维有机-无机杂化钙钛矿已成为各类光电子器件的杰出候选材料之一。它结合了二维材料和钙钛矿材料各自的独特优点,例如二维材料特有的层状结构特性、钙钛矿优异的材料可调性、较高的光吸收系数、高迁移率等,在性能提升
学位
壳聚糖作为自然界中唯一存在的碱性多糖,具有良好的生物活性,然而其高分子量和聚合度限制了其在功能性食品中的应用,相比于壳聚糖,壳寡糖是由壳聚糖解聚得来的一种完整保留壳聚糖的高活性寡糖,但低聚合度壳寡糖的工业生产过程还存在一系列待改进问题。目前研究主要通过物理法、化学法和酶法降解壳聚糖得到壳寡糖。其中化学法污染环境、酶解法原料成本高昂及时间投入大。本研究通过化学法结合酶解法协同降解壳聚糖,旨于弥补单一
学位
受自然界中生物的柔性运动方式启发,胶体马达的结构设计也逐渐由传统的刚性结构拓展为灵活可变的柔性结构。与具有刚性结构的胶体马达不同,依靠自身弯曲或形变而进行运动的柔性胶体马达凭借其自由度较高等独特优势,表现出了不同于以往刚性胶体马达的运动机制,较大程度地拓展了胶体马达的应用前景,并提高其在复杂环境下执行功能化任务的能力。但由于受到自身尺寸的限制,胶体马达的可控运动设计及其运动控制一直是研究的难点。在
学位
现代手术室精密的硬件系统和丰富的传感设备为手术场景关键内容解析方法的发展提供了良好的先决条件。基于实时手术视频等信号,手术场景自动解析主要实现工作流程,器械、行为、目标组织,和手术动作三元组识别等功能,在术中,提高手术室人员的信息决策能力、特殊情况应对能力,从而避免错误操作,减小并发症发生的可能;在术后,提供高效的手术报告生成和分析功能。然而,手术情景相对自然场景具有组织表面相似度高、医生执行手术
学位
目的 探讨封闭负压引流技术(VSD)联合重组牛碱性成纤维细胞生长因子外用溶液(rb-bFGF)、液体伤口敷料对老年糖尿病足溃疡的修复效果。方法 选取200例老年糖尿病足溃疡患者随机分为观察组和对照组,每组100例。对照组给予VSD技术治疗,观察组给予VSD技术联合rh-bFGF、液体伤口敷料治疗,比较两组治疗疗效、临床恢复情况、溃疡创面恢复情况、疼痛程度和不良反应发生情况。结果 观察组治疗效果明显
期刊
大科学工程作为集科学、技术和工程于一体的国家大型科技基础设施,是国家创新系统的重要组成部分,具有战略性、前沿性、长期服务性、合作与共享性,对于国家创新驱动战略、解决“卡脖子”问题具有重大意义。同时,作为重大科技基础设施其具有公共性和平台性,在国家创新驱动发展战略下有可能成为区域创新的引擎。因此,目前国家在不同的区域布局大科学装置,许多省市都在承接大科学工程项目或建设大科学装置集群。虽然目前大多数大
学位
<正>糖尿病足溃疡的治疗是目前世界级的医学难题[1]。据研究报道全球约5%的糖尿病患者并发糖尿病足,这其中10%的患者最终截肢[2]。尽管糖尿病足溃疡的治疗进步明显,但仍没有达到令人满意的地步。近年来不断有证据支持抗生素骨水泥在糖尿病足溃疡治疗中的作用[3],但关闭后的创口不一定都能得到一期愈合。近几年来,各种局部氧疗的产品及相关的研究开始出现[4],本次研究探讨局部氧疗在糖尿病足溃疡控制感染后愈
期刊
目的 研究糖尿病足溃疡(DFU)感染患者创面B细胞淋巴瘤(Bcl)-2、创面组织内血小板衍生生长因子受体(PDGFR)-α表达与预后的关系。方法 选择该院2019年3月至2021年6月诊治的125例DFU患者作为研究对象,根据是否发生感染分为感染组(87例)和未感染组(38例),分析患者创面Bcl-2、PDGFR-α表达情况,并随访半年,根据患者预后情况分为预后良好组(71例)和预后不良组(16例
期刊
尽管药物溶栓和血管内治疗取得了较大进展,但缺血性脑卒中(Ischemic Stroke,IS)的诊疗仍面临诸多挑战,主要表现为以下两个方面:其一,该疾病综合治疗的总体缓解率仍不足50%。部分病人在责任动脉再通之后缺血组织的灌注并未显著改善,神经功能也没有完全恢复,其机制尚不明确;其二,不同模态的神经成像所显示的病灶区域彼此不同,其临床意义尚待阐明。以上证据提示,动脉灌注机制只部分表征脑卒中疾病机理
学位