临床影像诊断中,准确的医学图像分析尤为关键。人工影像评估往往存在主观偏差,费时费力等诸多局限性,而基于计算机技术的自动图像分析方法可以避免这些缺点。近年,以卷积神经网络为代表的深度学习算法在医学图像自动分析方法研究中逐渐成为热门。相较于传统机器学习算法,深度学习避免了对图像复杂预处理以及专业特征工程的依赖,且在各类视觉任务上获得了出色性能。然而,其在医学图像应用中存在不少挑战,包括数据量缺乏导致模型难以优化训练;图像类间存在局部细微差异,而网络高层特征难以区分,不同设备及成像条件导致图像内容差异等。本文主要选取胎儿超声图像以及皮肤镜图像,针对深度网络在其分类应用中存在的问题展开研究,分别探索了端到端训练的网络结构,以及深度特征编码混合模型。本文研究成果主要包括:1.基于胎儿颜面部超声标准切面(FFSP)数据,本文从数据预处理,模型设计,训练方式等各个方面进行探索,主要提出并改进了一个19层卷积网络。通过利用数据增强,加入全局均值池化层,减少模型全连接层通道数,以及基于微调训练的参数迁移学习进行优化学习,实现有限量数据量下的FFSP图像自动分类。相较于已有解决方案,本文推荐的深度网络可以有效避免超声图噪声干扰,更有效地学习深层次特征,大量的对比分析实验证明了其有效性。2.对于皮肤镜黑素瘤图像识别,提出了深度网络与局部特征编码相结合的混合分类框架。首先利用自然图像数据集预先训练的深度残差网络对图像进行特征提取,并通过Fisher向量特征编码对于局部深度特征进行无序统计,得到全局特征表达。最后再训练SVM分类器进行分类。以解决黑素瘤图像类间差异问题,同时通过融合模型多层结果进行进一步效果提升。整个方法在ISBI 2016竞赛数据集上进行了验证,与已有方法相比,本文方法取得了最好结果。3.提出了基于多网络深度特征选择编码的皮肤镜图像分类方法,主要是在已有深度特征编码算法进行改进,一方面引入基于颜色光照估计算法进行数据模拟增强,另一方面通过选择性算法对局部卷积特征进行区域选择,同时加入多网络特征的融合。解决皮肤数据中存在的图像成像差异、背景目标干扰等问题。最后在ISBI 2016和ISBI2017皮肤数据上进行了系统性实验分析,该方法取得了明显性能提升。综上,本文主要针对深度网络在胎儿超声图像以及皮肤镜图像自动分类问题进行研究和探索,对于其中存在的潜在问题与挑战,提出了一系列解决方案:1)设计训练端到端的网络结构,最后输出判别结果;2)将深度网络作为特征提取器,与传统分类模型相结合。同时展开了大量的系统性的分析对比实验,证明了推荐方案的可行性以及有效性。此外,本文提出的算法框架以及解决思路对于其他类医学图像的自动分析应用具有借鉴意义。