基于生成对抗网络的医学图像统一多模态分割研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:visualhoxygen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
医学图像分割是计算机辅助诊断重要的一环,能帮助医生定位目标,实现定量的术前评估。为了全面了解病人的状况,医生往往使用多种成像技术对病人进行检查,进而产生多种模态的医学数据。近年来,针对多模态多输入的深度神经网络在医学图像分割领域取得重大的突破。但是多模态数据收集费时费力,临床中更多的是缺少一个或多个模态的情况。针对单模态设计特定网络的方案,加大了医生和研究者选择最佳模型的负担。为了摆脱多模态输入的约束,让医生和研究者把更多精力投入到疾病诊断本身而不是选择模型,本研究聚焦统一多模态分割问题,即训练一个在不同模态数据都通用的分割模型。统一多模态分割能联合多个不同模态的数据集,缓解数据稀缺问题。进一步,多模态联合训练有利于充分挖掘不同模态之间的共性,提升模型在各个模态的表现。结合目前基于生成对抗学习的医学图像模态翻译,本文提出了结合模态翻译和图像分割的多任务统一多模态分割框架,其主要创新包括:(1)提出了结合模态翻译的统一多模态分割模型UTMS。考虑到分割目标在模态翻译前后形状和大小应保持一致,我们把分割任务整合到多模态图像翻译任务。一方面模态翻译任务丰富了特征的信息量,并且为分割任务提供了隐式的数据增强。另一方面分割任务为翻译任务提供了目标的轮廓信息。多个实验证实了UTMS模型的有效性。(2)提出了结合翻译一致性的半监督统一多模态模型sUTMS。因医疗资源紧缺,标注过程枯燥,临床实践中更多的是无标签数据。如何通过少量有标签数据挖掘无标签数据的价值,具有十分重要的现实意义。基于模态翻译前后分割结果应该保持一致的假设,我们把源模态数据的分割结果当作伪标签,强制模态翻译后的分割结果与翻译前一致。实验证实了基于翻译一致性的半监督损失函数显著提升了原模型的性能。
其他文献
5G(第五代移动通信)网络商用在逐渐拓展,4G网络将长期与之并存,与此同时,基站站址资源在长期扩容中日显枯竭。为此,将4G/5G基站天线集成为一体,实现共建共享共用,成为了国家战略规划。针对这一背景,本文选择对4G/5G双频共用基站天线进行研究,具有实用意义。本文从网络应用需求出发,依托实际项目,分别对压铸型和PCB型天线辐射单元的双频嵌套阵列共用基站天线进行了研究和设计。1、本文首先参照2G/3
衣食住行是人类生活的基本需要,穿衣被排在第一位。那么你知道古人穿什么衣服吗?远古时期人们用树叶和兽皮蔽体御寒,到了新石器时代,有了原始的纺织技术,人们的服饰发生了变化,其功能也得到了改善。其中,陶器发挥了巨大的作用,例如下面这件旋纹陶纺轮,就是用于纺织的。
期刊
光致变色材料在生活中各个领域的应用越来越受到人们关注,光致变色包括化学变色与物理变色。羧甲基纤维素具有无毒、易溶于水、成膜性好等特性,在合成功能性材料上具有广阔前景,将其与稀土离子结合可获得紫外激发荧光性能材料。结构色是由亚微米周期性结构引起的布拉格衍射和双折射材料的色偏振等光干涉现象引起的,在自然界中广泛存在,为新型器件、传感器和光学加密的应用提供巨大的可能性。本论文采用共沉淀法合成了羧甲基纤维
当密度存在差异的两种流体相遇,密度相对较大的流体会在重力作用下潜入密度相对较小的流体的下方而形成异重流。在自然环境中,存在大量异重流现象和过程,河口盐水楔作为其中比较典型的一个分支,对河口周围环境有着举足轻重的影响。而盐水与淡水交界面这一特殊空间位置上的水动力特征,对盐水楔异重流的环境物质输运有着重要意义,研究盐水楔界面水动力悬浮过程有助于深入认识河口地区泥沙输移特性,从而为综合分析河口地区水环境
随着信息设备的不断普及,互联网用户每天面临着快速增长的海量信息。作为缓解信息过载问题的关键技术,推荐系统受到越来越多研究人员的关注,目前已经被广泛地应用在各个场景当中,例如电子商务、社交网站、短视频平台。推荐系统的目标是根据已观测的用户行为信息,预测用户接下来感兴趣的项目。用户社交信息和项目领域知识信息作为丰富的额外特征数据,已经在很多研究中广泛应用,以改进用户和项目的表征学习,提升推荐系统性能,
棉浆具有纤维长、强度好、聚合度高等特点,广泛应用于纺织、造纸以及化工等行业。在造纸行业,棉浆的制备通常选用棉短绒为原料,以碱性过氧化氢法一步蒸漂制得。但较多棉浆厂在制备棉浆时,存在蒸煮温度和用碱量较高的问题,不利于过氧化氢氧化脱木素,还会对纤维造成损伤,并且对环境污染较大。因此本研究针对棉浆制备过程中存在的问题,以清洁制浆为目的,选用二类棉短绒为原料,首先研究了较低用碱量、较低蒸煮温度的碱性过氧化
现代互联网技术和信息技术的发展,人们学习和教学的方式都发生前所未有的改变。一方面,近年来在线教育的需求急剧增加,对于学生来说,在远程学习中无法做到跟传统线下学习那样可以和老师面对面的交流,如何在线上尽快理解所学的知识是他们所需要解决的问题;另一方面,传统课堂教育的黑板板书限制了老师的教学速度和表达方法,学生要求更快地获取知识,而老师则需要想办法提高教学效率。虚拟现实技术作为计算机可视化技术的一个重
随着社会各方面的发展,噪声污染越来越严重,人们对隔声技术材料的需求日益増加,不仅仅需要提高隔声的效果,还要兼顾材料结构低频、宽带、轻质等方面的要求。受限于隔声质量定律,传统的隔声材料难以实现良好的低频隔声效果,而声学超材料的出现为解决低频降噪问题提供了一条新的思路。声学超材料是一种由人工设计的结构单元进行周期排列构成的复合材料,具有超常的物理性质,其能以较小的面密度实现特定的低频频段隔声。薄膜型声
科研机构与企业、高校是构建区域创新体系,支撑自主创新和产业转型升级的“金三角”,在加快要素驱动向创新驱动战略转变、全面实施创新驱动发展战略中具有不可替代的重要作用。研究科研机构与区域创新的耦合情况,对于制定科技政策、实现国家和区域的创新驱动发展战略具有重要的指导意义。在创新驱动发展战略背景下,科研机构应结合区域经济的特点重新定位,全力提升科技创新能力,为区域经济的发展提供强有力的科技支撑。本文从区
β-甘露聚糖酶因能将半纤维素中的甘露聚糖水解成小分子物质而广泛应用于生物能源、食品加工、饲料制造和石油开采等工业领域。在工业生产中,对甘露聚糖进行处理时往往需要用到具有高活性与良好热稳定性的β-甘露聚糖酶。本课题组前期筛选到了一株嗜热厌氧杆菌Thermoanaerobacterium aotearoense SCUT27,成功克隆了其β-甘露聚糖酶(Man25)的基因,并在E.coli BL21(