在过去的几十年里,医学和医疗保健领域取得了革命性的进步。在此期间,许多疾病背后的实际原因被揭示,新的诊断方法被设计出来,新的药物被研发出来。即使取得了所有这些成就,癌症仍然困扰着我们,我们的健康仍然容易受到它们的影响。随着硬件和软件技术的不断发展,医学影像技术已经成为癌症诊疗的重要手段,比较常用的医学影像包括X射线检测,计算机发射断层（Computed Tomography,CT）成像,磁共振成像（Magnetic Resonance Imaging,MRI）,超声成像,组织病理学检测等。基于这些影像的医学图像分析技术已成为医学研究、临床疾病诊断和治疗中一个不可或缺的技术手段。其中影像组学结合理论医学图像分析和机器学习技术,在医学数据上提取高通量的有意义的信息并进行相应的分析,并且已经在临床实验上取得了很多成果。目前,基于传统机器学习的影像组学使用手工提取的图像特征,而随着深度学习的发展,自动化的特征提取以及高效的端对端预测能力已经在医学图像分析上有很多成功的应用,结合深度学习的影像组学方法对计算机辅助诊断系统的发展意义重大。基于深度学习的影像组学技术在癌症辅助诊断上的应用是本文的研究课题。针对小样本,特异性高的肿瘤影像特点,应用或提出新的影像组学和深度学习方法,围绕脑胶质瘤和结直肠癌的医学影像做相应的分析是本文的工作内容,具体来说如下:1.针对脑胶质瘤亚型分类困难的问题,基于多模态磁共振图像和组织病理学图像,分别训练两个了卷积神经网络模型,通过集成学习来提升模型的性能,最终得到一个端对端的放射联合病理图像的脑胶质瘤亚型分类预测模型,在2019年精准医疗分类比赛上取得了第一名,可以为临床脑胶质瘤的亚型分类提供有效的辅助。2.对多模态磁共振图像对脑胶质瘤的MGMT甲基化以及1p/19q共缺失的分子分型预测进行建模,基于Dense Net网络,提出了一种融合注意力机制的三维卷积神经网络分类模型,比较了基于手工提取的传统影像组学特征和深度学习影像组学方法,在MGMT甲基化数据集上AUC达到了0.73,并且在1p/19q共缺失数据集上AUC达到了0.87,相比于基线的影像组学模型平均提升了21%,与目前的SOTA方法性能相当。3.针对结直肠癌的二分类T分期构建预测问题,结合结直肠癌的影像特点,提出了一种结合多尺度和非局域模块的残差网络模型,利用空间金字塔池化（Spatial Pyramid Pooling,SPP）提取图像的多尺度特征,并且加入非局域模块提升网络的特征提取效率。最优的模型取得了0.84的AUC,模型的二分类T分期预测效果与影像科的资深医生阅片分类能力相当。