基于生成对抗网络的图像扫描显微成像方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:qq85451619
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像扫描显微(Image Scanning Microscopy,ISM)成像方法具有高分辨率成像特性,在生物医学领域具有广泛的应用前景。ISM在共焦显微的基础上使用阵列扫描方式实现高分辨率成像,可将分辨率提升至衍射极限的2倍,且实验装置简单、易于实现,成为超分辨显微成像领域的研究热点。但该方法需要采集大量图像,数据处理量大、成像速度慢,受扫描范围和物镜数值孔径的限制,无法满足大视场快速成像需求。课题“基于生成对抗网络的图像扫描显微成像方法研究”针对图像扫描显微成像难以兼顾大视场、快速成像的问题,开展以下研究工作:(1)开展了基于傅里叶重加权的ISM成像方法研究。开展了共焦扫描显微和图像扫描显微的对比研究,建立了基于像素重分配的ISM成像方法理论模型,揭示了成像分辨率提升的内在机理。开展了基于傅里叶重加权的反卷积图像重构算法研究,针对模拟微管样品,进行ISM仿真实验验证,证明其分辨率明显高于共焦显微,能达到衍射极限的2倍。(2)提出了基于生成对抗网络(Generative Adversarial Network,GAN)的ISM图像预测方法。将实际采集的ISM图像和宽场显微图像输入网络,构建基于多参量融合的损失函数进行GAN训练,基于输出的GAN模型参数实现宽场显微视场下高分辨率ISM图像的快速预测。该方法具有迁移学习能力,避免了传统ISM成像中的大量图像采集,基于宽场显微装置预测出高分辨率ISM图像,解决ISM视场受限和成像速度慢的问题。(3)开展了GAN训练及预测效果评价分析。采用Adam算法进行GAN训练并实现超参数调节及优化;构建基于结构相似度、峰值信噪比和空间对数频谱的多指标评价体系,从图像微细结构、信号强度、信息丰富度三个方面对进行预测结果和真实结果接近程度评价。进行了大视场ISM预测实验验证,搭建ISM成像系统采集图像用于网络训练,采用训练好的网络,选取宽场3T3细胞样品图像作为输入,快速并成功预测出高分辨率大视场ISM图像,分辨率明显提高,视场为1mm,成像速度仅比宽场成像慢0.4s,远高于传统ISM方法。
其他文献
乳腺癌目前已经成为全球发病人数最多的癌症,对女性生命健康构成严重威胁。乳腺癌早期筛查中,超声起到至关重要的作用。然而,超声的成像质量不高,且易受伪影、血管纹理等因素的干扰,这给乳腺结节的鉴别与分析带来很大的挑战。本文分别基于模型集成与胶囊网络对超声图像中乳腺结节的分割和分类进行了改进。在乳腺结节分割方面,本文针对超声图像分辨率不足、难以提取到关键信息等特点,提出了基于“编码器集成”的网络结构,并采
漫画的创作需要经过草图到简化线稿到上色成稿几个步骤,其中从一张未上色的线稿到上色完成的成稿是赋予一幅漫画作品灵魂的必不可缺的步骤,而上色需要漫画创作者耗费大量的时间和精力。本文在分析国内外漫画自动上色方法的基础之上。以提高漫画上色成稿的质量和真实性为目的,通过理论分析、模型优化、实验迭代和应用开发等步骤全方位地对漫画自动上色方法展开研究,为漫画自动上色问题的解决提供思路。本文针对三种漫画上色方法展
开展小天体探测任务能够有效提升我国深空探测技术水平,推动行星科学的发展。小天体三维建模是深空探测的一个重要组成部分。小天体三维建模需要的图像数据数量大、分辨率高,一方面会使得探测器进行频繁的轨道机动来拍摄足够数量的图像,另一方面会使得探测器数据传输耗时增加。所以进行小天体三维建模的观测任务规划,在满足小天体三维建模图像数据需求的前提下,尽可能的节约探测器燃料资源与通信资源,是小天体三维建模的一项重
在软件开发、测试、维护和使用过程中,会有很多软件缺陷被发现。开发者通常使用缺陷追踪系统管理软件缺陷,但由于开发过程高度并行的特点或者在不同的产品中共用相同的组件等原因,相同的缺陷很容易被不同人员多次提交,从而导致缺陷追踪系统中存在大量重复报告,影响后续的缺陷分派与修复,因此研究者们提出多种自动重复缺陷报告检测方法。以往研究将重复缺陷报告检测视为检索或分类任务。检索任务中基于信息检索的重复缺陷报告检
近年来,互联网技术应用在各个行业,软件数量和规模呈现爆发式增长。开发人员在开发程序的过程中由于疏忽或者编程语言的限制,使得其中产生了缺陷即漏洞,从而被恶意攻击者发现并利用。随着软件安全问题的日益突出,研究人员也越来越重视漏洞检测方面的研究。然而由于软件的更新迭代导致软件结构的复杂化,仅仅依靠研究人员进行人工审查已经远远无法满足日益增长的检测需求。随着深度学习技术的广泛应用,基于深度学习的漏洞检测也
人类可以通过视觉、听觉和触摸等多种感官来察觉世界,当人类看见一个物体时,会联想到触碰它时是什么感觉。在本文的工作中,这里建立了视觉和触摸之间的跨模型连接,将视觉信号和触觉信号都以图片信号的形式,通过输入视觉图像输出触觉图像从而达到预测触觉信号的目的。这种跨域建模任务的主要挑战在于两者之间的的规模差异,可以理解为虽然我们的眼睛可以一次感知整个视觉场景,但人类只能在任何特定时刻感受一个物体的一个小区域
手势是一种人类的肢体语言,不仅包含十分丰富的信息而且在人与人之间交流时便捷且自然,因此手势识别逐渐被应用于人机交互领域。手势识别按照手势的分类分为静态手势识别和动态手势识别,由于动态手势可以反映手势的连续变化、表达更加复杂的手势信息,因此动态手势识别具有更加广阔的应用空间。本文对基于计算机视觉和深度学习的动态手势识别方法进行了研究,综合考虑识别速度、识别正确率、应用平台的显卡规格等因素,提出了两种
随着人工智能技术的不断发展,人机交互的需求日益提高。其中,手势识别技术在人机交互领域中的应用很是广泛。手势识别是指利用信号采集设备对个体的手势运动姿态进行采样,传输至计算机,使用模型算法对采样数据进行处理和分析。基于可穿戴传感器的手势识别系统具有便携高效,交互性能良好的优点,在商业方面的前景非常广阔。实际应用场景中,手势识别技术容易受到诸多因素的干扰。包括在环境因素下手势动作前后的无法控制的抖动、
近年来,随着机器人技术和人工智能的发展,智能机器人越来越多应用在生活中。同时,普遍认为相对于单个机器人工作,机器人集群的协同工作效率更高。比如在系统容错性方面,多机器人协同工作的容错率很高,不会因为单独的某个机器人的出错或损坏导致系统整体崩溃,而且利用机器人集群进行协同工作能够完成更为复杂的任务。ROS是目前机器人领域中最受欢迎的开源平台之一,可以有效地将底层机器人硬件封装起来,并提供大量开源工具
随着人工智能、大数据技术的飞速发展,数据资源愈发丰富,而对于数据资源的利用也越来越关键。一些与人类本身相关的医疗数据往往涉及到重大利益,这些数据的拥有方也因此无法随意交换数据,这阻碍了人工智能技术在医疗领域的发展。因此,生物医疗健康领域目前面临着因数据无法共享而产生的数据孤岛问题,针对这一问题,联邦学习成为了解决它的答案。而联邦学习过程中,多方通信节点需要进行数据对齐的过程,然而与人相关的数据在I