图像语义分析是填补图像低层特征和高层语义之间的语义鸿沟一系列方法的统称,是图像理解研究的重要分支,也是当前计算机视觉研究的热点之一。随着图像理解在当前互联网、多媒体等领域的应用日益广泛,图像、视频等多媒体数据与日俱增,相关应用对图像语义分析的需求也更加凸显。对图像语义分析的大量需求来自于两个方面:第一,对大量的图像数据在管理和检索需要对图像进行自动标注。第二,对图像内容的理解,需要对图像中的元素或物体进行识别、分割等处理。由于各种应用场景需求各异,图像语义分析问题的具体表现形式也复杂多样,加上图像语义分析问题本身的复杂性,导致现有图像语义分析方法不可能在所用的场景下都能良好完成语义标注任务和语义分割任务,在学术角度和工业发展方向都面临着许多的挑战。因此对图像语义分析的研究虽然一直在进步发展,但仍然有着众多未解决的问题和巨大的研究空间。对图像语义分析方法的研究,具有重要的理论意义和实际价值。本文深入研究了计算机视觉图像语义分析中两类方法的效用和性能提升,分别是特征融合方法和正则化方法。其中围绕特征融合方法,讨论了不同层面的特征融合:包括浅层特征融合深度模型、深度学习特征与浅层模型的融合。其次,针对图像语义分析中的模型泛化问题,讨论两类正则化方法在图像分类和图像分割中的应用。无论是特征融合方法,还是正则化方法,在图像语义分析中的应用都不是一蹴而就的,没有通用的范式遵循,需要针对具体问题和模型,解决如特征与模型的适配问题、不同特征的集成问题以及正则化手段的选取,误差函数和正则化项的设计等具体问题。因此针对这些具体问题和挑战,本文围绕图像语义分析从以下方面展开研究:本文研究了基于最大评价参数(Maximal Figure-of-Merit,MFoM)与深度神经网络系统融合的图像自动标注方法,基于MFoM学习框架,提出了 一种用于直接求解最大化平均精度均值(mean average precision,MAP)的方法,把每个单独的样本得分的AP近似为阶梯函数进行求解,与成对排序近似方法相比,我们的AP梯度近似方案显著降低了计算复杂度;鉴于深度神经网络(Deep Neural Networks,DNN)的分类器在图像分类方面具有很强的识别能力,本文提出的方法以MAP作为目标函数,通过深度神经网络的训练对其进行优化。将MAP方法与DNN技术相结合,将非线性元素引入到线性判别函数(Linear Discriminant Functions,LDF)中,以提高原基于MFoM训练的LDF分类器的灵活性和判别能力。实验结果表明,该方法相对于其他方案,取得了更好的结果。其次,本文提出了一种基于手工设计特征与深度学习特征融合的图像标注方法。把从原始图像中使用低层次的颜色特征和从卷积神经网络(Convolutional Neural Network,CNN)中学习的深度学习特征融合。将这两个特征的集合作为输入,到深度神经网络的图像自动标注(Automatic Image Annotation,AIA)系统中共同进行训练。在单标签数据集Cifar-10和多标签数据集Corel-5K的实验结果中可以得出结论,本文提出的方法能有效集成手工设计特征与深度学习特征提高标注性能。接下来,本文提出了一种示例嵌入正则化器,该方法通过将示例之间的关系作为正则化来学习更健壮的示例和包嵌入,来最大化示例嵌入中示例和示例标签的相似性之间的相关性。所提出的示例嵌入正则化器其使用包分类损失和示例分类损失以端到端的方式使用随机梯度下降方法进行优化,它同时提高了示例嵌入和包嵌入的学习性能。我们对药物分子活性预测、图像分类、文本分类和癌症预测的数据集进行了大量的实验。结果表明,该方法比以往的多示例网络有了显著的改进。最后,本文研究了图像分割算法,提出了一种基于深度神经网络的平滑正则化的图像语义分割方法。该网络集成了基于条件随机场(Conditional Random Fields,CRF)的整体嵌套边缘检测(Holistically-nested Edge Detection,HED)和全局平滑正则化。它是一个端到端、像素到像素的深度卷积网络,可以比基于HED的方法和使用CRF推理作为后处理的方法得到更好的结果。在三个视网膜血管图像数据集上的实验结果表明,本文提出的多层次特征融合可以更好的映射深层特性,而且CRF的全局正则化方法对其进行了优化,与其他先进的算法比较本文提出的深度监督平滑正则化网络(Deeply Supervised and Smoothed Regularized Network,DSSRN)获得了最佳性能。总而言之,本文针对图像分析中的图像语义标注和图像语义分割这两个研究问题,提出了几种基于不同特征融合策略和正则化手段的图像语义分析方法,在理论上有所创新,在性能上有显著提升,对图像语义分析的研究进展做出了一定的贡献。