现阶段，对医学图像来说，解剖图像(如CT、MRI)的分辨率较高，能清晰地提供器官的解剖形态，但无法反映器官的功能变化；功能图像(如SPECT、PET)能准确地提供器官的新陈代谢信息，但因其分辨率较低而无法显示器官或病灶部位的解剖细节。单独使用某一种模态的图像都不能同时获得这两种模态图像的完整信息。多模态医学图像配准与融合技术是解决上述问题的最佳途径，它为医疗人员利用不同模态的医学图像中包含的解剖信息和功能信息提供了一种简单有效的方式。传统的多模态医学图像配准与融合方法虽然取得了巨大成功，但是还存在如下主要问题：首先，由于图像模态间的差异，导致已经相当成功的单模态图像配准方法不能直接应用于多模态配准领域，这主要是由单模态图像配准中使用的基于图像灰度值的目标测度函数造成的。基于灰度值的目标测度函数具有形式简洁、优化过程简单易实现、运算速度快的优点，但它们不能充分描述配准过程中多模态图像间的差异。虽然一些基于灰度分布的目标测度函数被提出，如互信息、熵等，但它们的形式过于复杂，没有考虑图像的空间特征信息，导致优化过程易陷入局部极小值，算法的鲁棒性不高。因此，如何使多模态医学图像配准方法能利用单模态医学配准方法中的快速、简单、高效的相似测度函数以提高配准的准确性和鲁棒性仍有待研究。其次，在多模态医学图像融合领域，基于小波变换的融合方法取得了巨大成功，但是小波变换仅能够较好地表示待融合图像中的点特征而不能很好地表示图像中的线、轮廓等高维特征。虽然一些新颖的多尺度几何变换工具，如轮廓波变换，被引入到多模态医学图像融合中，但它们都有其自身的缺点。如何更有效地表示待融合图像中的高维特征对提高融合性能至关重要。再次，现有的基于多尺度几何变换的多模态医学图像融合算法都是假设子带统计无关的。它们仅仅是直接对单个系数进行运算，并没有考虑不同子带系数间的统计相关性问题。缺少子带间的统计相关性，易造成重要的特征信息不能成功地转移到融合图像中。最后，现有的大多数多模态医学图像融合算法都是在低维空间中提出的，很少有人给出高维空间中的多模态医学图像融合结果。本文针对上述四个问题进行了研究，提出了一系列改进算法，取得了更好的实验结果。论文的主要研究内容包括：首先，基于图像的局部特征描述子，提出了医学图像的局部特征描述子模态映射概念。局部特征描述子模态映射能够将多模态医学图像映射为同一种模式或者近似的同一种模式，弥合了多模态医学图像配准算法与单模态医学图像配准算法间因图像模态差异而存在的鸿沟。局部特征描述子模态映射的主要优点是不仅利用了图像的灰度信息，而且充分利用了图像中各个像素点的位置、尺度、方向等信息。因此，借助于这个模态映射，单模态医学图像配准中常用的相似测度函数可以应用于多模态图像配准中，在它们之间搭建起了一座桥梁，各取所长，提高了配准的鲁棒性和准确度。其次，分析了传统的多模态医学图像融合方法中广泛使用的多尺度几何变换工具的优缺点，例如小波变换、轮廓波变换等。为了更好地表示待融合图像中的高维特征信息，提出了基于平移不变剪切波变换(Shift-invariant shearlet transform, SIST)的多模态医学图像融合算法。再次，针对传统的基于多尺度几何变换的多模态医学图像融合算法丢失子带相关性的缺点，研究了平移不变剪切波的高频子带系数的统计性质，分别提出了平移不变剪切波域的隐式统计相关模型和显式统计相关模型。为了充分利用这种捕获的统计相关性，在图像融合过程中提出了相应的嵌入统计相关性的融合规则。最后，研究了三维(Three-dimensional,3D)平移不变剪切波理论，揭示了3D平移不变剪切波高频子带系数的统计特性和子带相关性，提出了基于3D平移不变剪切波变换的多模态医学图像融合算法。针对传统的基于局部计算的融合规则的缺点，利用Kullback-Leibler Distance (KLD)的非对称性质，提出了从全局到局部(Global-to-Local)的多模态医学图像融合规则。