近年来,多模态医学图像融合在人类的大脑结构,病变定位、疾病诊断、治疗计划等扮演着极其重要的角色。医学图像具有不同的图像模态,具体可以分为解剖图像和功能图像。解剖图像包括计算机断层图像、磁共振图像、超声图像,它提供人体的形态学解剖细节。功能图像,包括正电子发射断层图像和单光子发射断层图像,提供代谢信息而不提供解剖细节。单一模态医学图像在局部细节信息描述上存在局限性,不足以提供医生获得疾病诊断的充足信息。因此,多模态医学图像融合是将不同成像方式的互补特征融合到一幅融合图像中的一种重要方法。临床上对不同融合图像的选择仍需医生凭借自身经验通过目测来完成,缺乏医学图像融合的评价标准,现有的客观质量评价方法不是针对医学融合图像设计的,在评价多模态融合图像时具有很大的局限性,而且很难融入到图像融合的设计和优化中。因此,研究多模态医学图像融合和质量评价具有重要的临床应用价值。论文研究工作主要围绕多模态医学图像融合和质量评价等关键技术问题展开,针对融合问题进行深入研究,提出了一种变换域融合算法和一种空间域融合算法。针对现有融合图像的质量评价在评价多模态医学融合图像时具有很大的局限性这一问题,提出了多模态医学图像融合的质量评价模型。通过质量评价对融合算法进行性能评价和参数动态优化调整,提升融合效果。本文的主要研究内容和创新成果如下:(1)提出了基于内部生成机制的感知多模态医学图像融合算法。研究发现人类视觉系统是一个复杂的系统,人眼视觉的产生不是眼睛输入的直接翻译,而是大脑主动推理的结果,例如贝叶斯大脑理论研究发现大脑是通过内部生成机制进行视觉感知和理解。受内部生成机制的启发,本文提出一种采用内部生成机制的感知图像融合方法。首先,通过模拟人类视觉系统感知图像的机制,将源图像分为预测层和细节层。预测层代表源图像的近似分量,平均策略应用于融合这一层。同时,细节层反映了图像的纹理或边缘信息,切比雪夫矩在形状表示中非常有效,能够有效地捕捉边缘特征,切比雪夫矩用于融合细节层。联合预测层和细节层获得融合图像。实验中采用了五种客观融合评价策略对融合后的图像进行评价。实验结果表明,所提出的融合算法优于当前的医学图像融合算法。(2)提出了基于离散切比雪夫矩能量激励自适应脉冲耦合神经网络的多模医学图像融合算法。基于脉冲耦合神经网络的医学图像融合方法中,归一化的系数被采用作为外部激励,这会在融合图像中引起细节丢失,导致图像模糊,而且不适用于不同的医学图像模态。尽管改进的空间频率被采用作为输入激励,获得理想的融合效果,但是这样会导致方向性比边缘信息更敏感。上述问题的解决是利用边缘特征对神经网络进行刺激,因为人眼对边缘信息更敏感,不同模态的医学图像包含大量的边缘特征,这些边缘特征在自然图像上通常很少见。离散切比雪夫矩在形状表示方面非常有效,它可以有效捕获边缘特征。首先,将医学图像划分为等尺寸的块,计算切比雪夫矩以描述图像形状,并将块状的能量计算为非直流矩平方和。其次,块状的切比雪夫矩能量用于激励脉冲耦合神经网络。为了适应不同模态的医学图像,提出脉冲耦合神经网络的自适应链接强度和自适应阈值幅度。最后,最大触发次数作为融合图像的系数获得融合图像。实验结果表明了该方法的优越性,在处理不同模态的医学图像方面更为有效。(3)提出了多模态医学图像融合的客观质量评价模型。众所周知,现有的图像融合质量评价不是为多模态医学融合图像设计的,而且很少将其与包含多种图像模态和融合算法的主观数据进行比较。为此,迫切需要多模态医学融合图像的客观质量评价。首先使用现有的经典多模态医学融合算法来构建融合图像数据库,20名均具有影像诊断相关研究的医学教育背景的放射科医生参加了主观实验。对于每个图像集,放射科医师被要求在连续范围内为每个融合图像给出1到5的评分,这样可以获得更准确的主观评价,其中1表示图像质量最差,5表示图像质量最佳。主观分数的均值作为数据库的真实值。然后,将相位一致性和标准差结合起来以获得整体质量分数。最后,基于融合图像数据库进行对比。实验结果表明,该算法能够与主观实验结果保持很好的一致性,优于现有的指标,更适用于多模态医学融合图像的评价。(4)提出了基于视觉质量评价的多模态医学图像融合算法优化。在简化的脉冲耦合神经网络模型中,很多重要的参数是通过手动调整或者通过大量的训练来优化,这样在处理不同模态的医学图像时很难获得满意的效果。为此,提出了多群果蝇优化算法的自适应脉冲耦合神经网络模型优化多模态医学图像融合。建立一个与医生主观感知一致的视觉质量评价标准是评判依据和优化目标。为提高多群果蝇优化算法的效率和质量,采用第四章提出的多模态医学图像融合的质量评价构建适应度函数。在这种视觉质量评价的指导下,通过评价结果对融合算法进行性能评价和参数动态优化调整,可以自动将最优变量与源图像进行匹配,获得最优参数组合,提升融合效果,实现对多模态医学图像融合算法的优化。实验表明,本章提出的算法在主观视觉效果和客观评价上,优于多模态医学图像融合领域的算法,在处理不同模态的医学图像融合方面更为有效。