膝关节作为结构最为复杂的人体关节常被感染或损伤,常见的膝关节相关疾病包括滑膜炎、滑膜增厚、囊肿等,医生常采用医疗超声图像作为诊断手段。这些疾病在超声中常常表现为有黑色的液体区域出现,即病变区域,医生也以此区域作为主要判断依据,所以该区域划定的精确度影响着医生的诊断。目前,在这些疾病诊断中完全依靠医生的肉眼判断,如此会浪费人力物力且有一定的主观性和人为误差,所以为辅助医生诊断甚至替代医生诊断,本文就自动分割膝关节病变区域和自动识别膝关节常见疾病两个方面进行了研究。针对图像自动分割任务,利用深度学习算法进行语义分割,并对比三种常用深度神经网络以达到更好分割效果,并分析了在将超声图像直接输入到深度神经网络时出现误分割和边缘分割效果偏差的原因,对此从三个角度加以改进,使分割衡量指标有大幅度提高。一是利用空洞卷积扩大感受野,并对“大视野”和“小视野”之间的平衡进行了探讨;二是采用Snakes模型算法将外轮廓收缩进而去除外围易被误分割的区域;三是利用多通道学习的方法完善边缘区域分割结果。针对膝关节病症自动识别任务,认为基于本数据集的分类与普通视觉图像分类任务不同,应属于细粒度分类。首先利用残差网络对本数据集进行分类并对该网络中用于分类的特征向量进行了可视化,分析了该分类网络精确度不高的原因。本文认为各类别间图像特征差距较小,提取的特征不能很好的适用于分类,为此提取得到更好的特征向量是提高精度的关键。所以采用图嵌法进行二次训练,将图像表示成向量并映射到低维空间上,使同类图像的特征向量在空间上距离更相近、不同类的特征向量间距离更远并结合分割结果,以得到更可分的特征向量,再经过分类器,得到更好的分类效果。经以上述算法优化在分割任务中分割指标中平均交并比在训练集和测试集中提高了约10%。病症识别的过程中,经二次训练的优化分类精确度在训练集和测试集均提高近11%。