在癌症患者中,脊柱转移肿瘤的发生率很高,合适的治疗方案可以延长患者生存时间。根据肿瘤发病的脊柱位置、脊骨的塌陷程度和脊柱力线情况等六种病情,医生需要分别做出评分,依据评分之和来决定合适的治疗方案。六种评分是由医生主观判断得到,不同医生对相同患者的诊断结果可能不同,并且评分过程费时费力,需要计算机辅助给出诊断信息。脊柱转移肿瘤的诊断依据来自CT图像,计算机视觉算法从CT图像中可以获取脊柱转移肿瘤的病灶信息,用以进行辅助诊断。由于脊柱转移肿瘤病情评分与脊骨肿瘤位置、脊骨分割结果等相关,本文选择两个重要任务进行研究:(1)脊骨分割和检测;(2)基于CT图像的脊柱转移肿瘤分类。本文分别提出弱监督自学习网络模型和深度双视角网络模型来完成相应任务。在脊骨分割和检测任务中,只有脊骨四个角点的标注数据。本文设计以MaskRCNN为基础模块的弱监督自学习模型,模型在训练的过程中,使用预测的分割结果而不是弱标注信息来约束分割模型,通过这种自学习的方式得到的分割和检测结果,有更好的分割效果。针对脊骨位置分布和相邻脊骨面积差别不大的特点,分别设计了脊柱力线约束和相邻框约束来提升分割和检测的准确度。本文与医院合作收集了400例脊柱图像,脊骨检测AP值达到95.13%。其次,本文探索基于CT图像的脊柱转移肿瘤分类。模仿医生将矢状面信息和冠状面信息融合到横断面来诊断疾病的方式,提出深度双视角网络模型。模型包含2个分支:一个X-Y卷积分支用来单独对每一张横断面图像提取特征,一个Z卷积分支来获得相邻图像Z方向的特征,两个分支的特征值被融合生成最后的预测值。并且由于病灶是具有空间性的3D物体,存在于连续多张图像中,因此本文设计光滑损失函数来约束相邻图像的分类结果趋于一致。本文与医院合作收集了包含316个病人的脊柱转移肿瘤数据集,算法实验结果的AUC分数达到91.34%,证明了所提方法的有效性。