论文部分内容阅读
[摘要]近年来，随着各种医学影像模式的出现和电子计算机技术的发展，对于多模态医学图像融合技术[1]的研究越来越受到国内外专家学者的重视，并且取得了显著地成效。多模态医学图像融合技术在临床诊断、放射性医疗等方面得到了广泛的应用。多模态医学图像融合技术对未来医学影像技术必将产生深远的影响。本文详细介绍了医学图像融合技术的意义，图像融合的步骤，在此基础上对医学图像融合技术的前景作了展望。
[关键词]多模态；医学图像融合；图像配准
中图分类号：TP391 文献标识码：A 文章编号：1009-914X（2018）40-0226-01
1 图像融合技术研究背景与意义
随着现代传感器技术的发展，对于图像的获取已经由单一可见光传感器发展成为多种传感器综合模式。由于成像原理的不同，任何单一可见光传感器获取的图像都不能全面反映目标对象的特性。医学图像融合技术[2]就是将多种不同特性的图像信息结合起来，进行综合分析为临床诊断和治疗提供帮助。
CT图像具有高密度分辨率，可以很好地显示由软组织构成的器官但是辐射剂量较普通X线机大，不适合孕妇等；而MR图像的软组织对比分辨率最高，具有任意方向直接切层的能力但是扫描时间长，空间分辨力不够理想；SPECT图像可以测量显示细胞和分子的生物学活动但是成像不够清晰。因此将CT与MR、CT与SPECT进行融合，可以更全面的反映人体各种形态、功能等综合信息，有利于医学诊断和病情分析。
2 医学图像融合的步骤
（一）医学图像预处理。对源图像的预处理，包括对获取的图像做去除噪声，对比度增强，区域分割等处理，规范各种数据的格式和图像大小，还可以通过对图像进行断层分层使其在空间分辨率和方位上大体一致。除此之外，还可以根据应用目的和目标特点的不同建立适当的数学模型。
（二）医学图像配准。医学图像配准是指对不同传感器在不同角度所获得的两幅或多幅图像进行最佳匹配的过程。图像配准是医学图像融合技术最关键的一步。一般配准的过程包括如下三步：
⑴ 分割图像特征的提取：用于配准的图像一般都有某些相似的特征量，如图像的边界、图像上对应解剖特征点和外标记点等，因此我们可以选择这些特征量来确定图像的几何变换。为了提高几何变换的准确度可以根据图像具体情况选择不同的特征量。
⑵ 根据特征对，确定几何变换：图像的几何变换形式如图1，将一幅图像中的坐标点变换到另一幅图像的坐标上，经过特征提取后就转化为求解两幅图像中对应点的变换问题。根据图像中目标的变形形式的不同分为线性变换和非线性变换。线性变换又分为刚体变换、仿射变换和投影变换。
⑶ 寻优：我们定义一种相似性测度函数，用此函数来度量浮动图像经过空间变换后与参考图像的相似程度。并且通过调整变换参数，使得相似性测度函数达到最优。目前常用的相似性测度有归一化互相关、灰度均方差、互信息等，常用的优化算法有POWELL算法、梯度下降法、遗传算法等。
医学图像配准的方法有很多，目前主要的配准方法分为基于特征的配准方法和基于灰度的配准方法[3]。
基于特征的配准方法首先要对待图像进行特征提取，然后利用提取到的特征完成两幅图像特征之间的配准。常用到的图像特征有：点、直线段、边缘、轮廓、以及统计特征如矩不变量、重心等等。
基于灰度的配准方法是目前研究得较多的一种方法，它直接利用图像的灰度信息进行配准，具有精度较高、不需要预处理而能实现自动配准的特点。基于灰度的配准主要分为两类，一类是通过图像灰度直接计算出代表性的比例和方向等要素；另一类是配准过程中使用全部的灰度信息。
（三）医学图像融合。图像在空间域配准后便可选择不同的融合算法和融合规则进行融合，图像融合主要有三个层次的融合[4]，下面分别对这三个层次进行分析介绍。
像素级图像融合又称为数据级图像融合，它是在原始数据层面上进行的信息融合，是一种低水平的融合，也是目前应用最广泛的图像融合方式。像素级融合的算法分为空间域算法和变换域算法。空间域算法的融合规则有逻辑滤波法、对比调制法、数学形态法等；变换域算法的融合规则有金字塔变换法和小波变换法，其中小波变换法是目前国际上运用最广泛，最主要的方法。
特征级图像融合又称为目标级图像融合，是一种中等水平的图像融合。特征级图像融合对图像匹配的精确度要求不如像素级图像融合严格。特征级图像融合的分为两大类：目标状态信息融合和目标特性融合。目标状态信息融合主要应用于多传感器目标跟踪领域；目标特性融合就是特征层次的识别。目前特征级图像融合的方法有：加权平均法、贝叶斯估计方法等。在特征级图像融合过程中，由于提取的特征与决策分析有关，因而融合结果能最大限度给出决策分析所需要的特征信息。
决策级图像融合又称为符号级图像融合，是最高水平的图像融合。决策级图像融合是有针对性的，根据所提问题的具体要求，将来自特征级图像所得到的特征信息加以利用，然后根据一定的准则作出最优决策。决策级图像融合主要是基于认知模型的方法，需要大型数据库和专家决策系统进行属性分析、推理和判决。决策级融合同样也有一些规则，如贝叶斯估计法，神经网络法和模糊集理论等。
3 医学图像融合的展望
醫学图像融合是一个具有远大前景的研究课题，学术界在某些领域也取得一些成就，但总的来说还是处于不成熟阶段，还有很多问题亟待解决。如对于图像融合方法还没有统一的标准和成熟的理论导向，对于众多不同种类的图像没有一个可靠地算法体系等。因此未来对于医学图像融合优化准则将会进入更加深入的研究，基于有线元分析的非线性配准将是未来研究的热点与方向。
目前医学图像融合主要的研究与临床应用集中在大脑的诊断与治疗中，对于人体其他部位的研究还属于空白领域，图像的模态也主要是CT/MR，超声等低成本图像的应用值得我们进入更深层次的研究。医学图像融合技术发展至今，各个学科的交叉渗透也是发展的必然趋势。可采用新的融合思想对医学图像融合系统进行研究，随着Al技术的发展，融合图像建模，实现智能化的融合处理。
参考文献：
[1] 谈泉，林家瑞.多模态医学图像融合技术的研究与进展[J].国际生物医学工程杂志. 2006（3）：158-160
[2] 杨程，徐晓刚，王建国.图像配准技术研究[J].计算机科学.2016（2）：133-135
[3] 申艳平.医学图像配准技术[J].中国医学物理学杂志.2013（1）：3885-3889
[4] 陈文，郁芸，周梅红.基于Matlab的多模态医学图像融合仿真.电子软件与技术工 程.2017（2）：77-78
[关键词]多模态；医学图像融合；图像配准
中图分类号：TP391 文献标识码：A 文章编号：1009-914X（2018）40-0226-01
1 图像融合技术研究背景与意义
随着现代传感器技术的发展，对于图像的获取已经由单一可见光传感器发展成为多种传感器综合模式。由于成像原理的不同，任何单一可见光传感器获取的图像都不能全面反映目标对象的特性。医学图像融合技术[2]就是将多种不同特性的图像信息结合起来，进行综合分析为临床诊断和治疗提供帮助。
CT图像具有高密度分辨率，可以很好地显示由软组织构成的器官但是辐射剂量较普通X线机大，不适合孕妇等；而MR图像的软组织对比分辨率最高，具有任意方向直接切层的能力但是扫描时间长，空间分辨力不够理想；SPECT图像可以测量显示细胞和分子的生物学活动但是成像不够清晰。因此将CT与MR、CT与SPECT进行融合，可以更全面的反映人体各种形态、功能等综合信息，有利于医学诊断和病情分析。
2 医学图像融合的步骤
（一）医学图像预处理。对源图像的预处理，包括对获取的图像做去除噪声，对比度增强，区域分割等处理，规范各种数据的格式和图像大小，还可以通过对图像进行断层分层使其在空间分辨率和方位上大体一致。除此之外，还可以根据应用目的和目标特点的不同建立适当的数学模型。
（二）医学图像配准。医学图像配准是指对不同传感器在不同角度所获得的两幅或多幅图像进行最佳匹配的过程。图像配准是医学图像融合技术最关键的一步。一般配准的过程包括如下三步：
⑴ 分割图像特征的提取：用于配准的图像一般都有某些相似的特征量，如图像的边界、图像上对应解剖特征点和外标记点等，因此我们可以选择这些特征量来确定图像的几何变换。为了提高几何变换的准确度可以根据图像具体情况选择不同的特征量。
⑵ 根据特征对，确定几何变换：图像的几何变换形式如图1，将一幅图像中的坐标点变换到另一幅图像的坐标上，经过特征提取后就转化为求解两幅图像中对应点的变换问题。根据图像中目标的变形形式的不同分为线性变换和非线性变换。线性变换又分为刚体变换、仿射变换和投影变换。
⑶ 寻优：我们定义一种相似性测度函数，用此函数来度量浮动图像经过空间变换后与参考图像的相似程度。并且通过调整变换参数，使得相似性测度函数达到最优。目前常用的相似性测度有归一化互相关、灰度均方差、互信息等，常用的优化算法有POWELL算法、梯度下降法、遗传算法等。
医学图像配准的方法有很多，目前主要的配准方法分为基于特征的配准方法和基于灰度的配准方法[3]。
基于特征的配准方法首先要对待图像进行特征提取，然后利用提取到的特征完成两幅图像特征之间的配准。常用到的图像特征有：点、直线段、边缘、轮廓、以及统计特征如矩不变量、重心等等。
基于灰度的配准方法是目前研究得较多的一种方法，它直接利用图像的灰度信息进行配准，具有精度较高、不需要预处理而能实现自动配准的特点。基于灰度的配准主要分为两类，一类是通过图像灰度直接计算出代表性的比例和方向等要素；另一类是配准过程中使用全部的灰度信息。
（三）医学图像融合。图像在空间域配准后便可选择不同的融合算法和融合规则进行融合，图像融合主要有三个层次的融合[4]，下面分别对这三个层次进行分析介绍。
像素级图像融合又称为数据级图像融合，它是在原始数据层面上进行的信息融合，是一种低水平的融合，也是目前应用最广泛的图像融合方式。像素级融合的算法分为空间域算法和变换域算法。空间域算法的融合规则有逻辑滤波法、对比调制法、数学形态法等；变换域算法的融合规则有金字塔变换法和小波变换法，其中小波变换法是目前国际上运用最广泛，最主要的方法。
特征级图像融合又称为目标级图像融合，是一种中等水平的图像融合。特征级图像融合对图像匹配的精确度要求不如像素级图像融合严格。特征级图像融合的分为两大类：目标状态信息融合和目标特性融合。目标状态信息融合主要应用于多传感器目标跟踪领域；目标特性融合就是特征层次的识别。目前特征级图像融合的方法有：加权平均法、贝叶斯估计方法等。在特征级图像融合过程中，由于提取的特征与决策分析有关，因而融合结果能最大限度给出决策分析所需要的特征信息。
决策级图像融合又称为符号级图像融合，是最高水平的图像融合。决策级图像融合是有针对性的，根据所提问题的具体要求，将来自特征级图像所得到的特征信息加以利用，然后根据一定的准则作出最优决策。决策级图像融合主要是基于认知模型的方法，需要大型数据库和专家决策系统进行属性分析、推理和判决。决策级融合同样也有一些规则，如贝叶斯估计法，神经网络法和模糊集理论等。
3 医学图像融合的展望
醫学图像融合是一个具有远大前景的研究课题，学术界在某些领域也取得一些成就，但总的来说还是处于不成熟阶段，还有很多问题亟待解决。如对于图像融合方法还没有统一的标准和成熟的理论导向，对于众多不同种类的图像没有一个可靠地算法体系等。因此未来对于医学图像融合优化准则将会进入更加深入的研究，基于有线元分析的非线性配准将是未来研究的热点与方向。
目前医学图像融合主要的研究与临床应用集中在大脑的诊断与治疗中，对于人体其他部位的研究还属于空白领域，图像的模态也主要是CT/MR，超声等低成本图像的应用值得我们进入更深层次的研究。医学图像融合技术发展至今，各个学科的交叉渗透也是发展的必然趋势。可采用新的融合思想对医学图像融合系统进行研究，随着Al技术的发展，融合图像建模，实现智能化的融合处理。
参考文献：
[1] 谈泉，林家瑞.多模态医学图像融合技术的研究与进展[J].国际生物医学工程杂志. 2006（3）：158-160
[2] 杨程，徐晓刚，王建国.图像配准技术研究[J].计算机科学.2016（2）：133-135
[3] 申艳平.医学图像配准技术[J].中国医学物理学杂志.2013（1）：3885-3889
[4] 陈文，郁芸，周梅红.基于Matlab的多模态医学图像融合仿真.电子软件与技术工 程.2017（2）：77-78