第一部分:基于视网膜眼底照片利用深度学习技术探索高血压对视网膜微血管的影响背景:视网膜微血管作为心血管系统的组成部分,由于其表型信息可在活体上直接获取并可进行一系列定性和定量分析,所以大量研究试图建立眼底影像中视网膜微血管异常信号与全身各处血管病理性改变的关联性,将视网膜微血管异常信号作为心血管疾病的潜在预警信号。目的:高血压是主要的心血管风险因子,对视网膜微血管的结构和功能有显著的影响。通过深度学习的可视化技术,分析高血压状态下眼底影像中视网膜微血管形态学改变的显著特征。材料和方法:2017年05月至2018年12期间,由于眼部疾病来沈阳何氏眼科医院就诊的住院患者。根据排除标准,最终共735名高血压患者(1007只眼)纳入研究,其中男性274人,女性461人,年龄29～92岁,平均66.47±9.06岁;非高血压人群684人(1005只眼),其中男性326人,女性358人,年龄31～88岁,平均61.27±10.48岁。使用45°彩色立体眼底照相机以黄斑为焦点为两只眼睛依次拍摄,每张视网膜照片包括视盘、黄斑和视网膜微血管。利用自适应直方图均衡以及Gamma校正对眼底照片进行增强处理,增加图像对比度,突出视网膜微血管结构,建立眼底照片的“增强数据集”,共包括2012张眼底图像,其中高血压1007张,非高血压1005张。利用训练好的U-net模型,对视网膜照片进行语义分割,仅保留视网膜微血管结构,建立眼底照片的“分割数据集”,每一张图像都与“增强数据集”眼底图像一一对应。高血压眼底图像的标签为1,非高血压眼底图像的标签为0。建立用于图像分类的深度卷积神经网络,分别利用“增强数据集”和“分割数据集”训练模型。将数据集中的眼底照片随机分为5组,使用5折交叉验证,每次取一组样本作为测试集,不参与模型的训练,余下四组样本作为开发集用于模型训练,总共进行5次训练和测试。使用总体准确率(Accuracy)、总体特异度(Specificity)、高血压的精确率(Precision)、高血压的召回率(Recall)以及ROC曲线下面积(AUC)来评估模型分类效果。使用“分割数据集”,利用基于梯度的类激活图(Grad-CAM)分别绘制“高血压”类以及“非高血压”类激活热力图。结果:对于“增强数据集”,模型在测试集上的表现:总体准确率为56.76%,总体特异度为63.80%,高血压预测精确率为58.97%,高血压召回率为49.93%,ROC曲线下面积为0.6069。对于“分割数据集”,模型在测试集上的表现:总体准确率和高血压召回率较前有所提升,分别为60.94%和70.48%,高血压预测精确率较前相仿为59.27%,但是总体特度下降为51.54%。ROC曲线下面积为0.6506,较前有明显提升。类激活热力图显示,对于“高血压”类,红色热区呈不连续的斑片状分布,主要位于视网膜微血管的二分叉区域。这些二分叉区域包括视网膜微动脉的分叉,也包括视网膜微静脉的分叉,还有一些图片的红色区域分布于微动脉和微静脉的交叉处。对于“非高血压”类,红色热区沿视网膜微血管走行成连续分布。结论:视网膜微血管二分叉模式的改变是高血压状态下视网膜微血管最显著的形态学特征。第二部分:基于视网膜眼底照片利用深度学习技术探索糖尿病对视网膜微血管的影响背景:视网膜微血管作为心血管系统的组成部分,由于其表型信息可在活体上直接获取并可进行一系列定性和定量分析,所以大量研究试图建立眼底影像中视网膜微血管异常信号与全身各处血管病理性改变的关联性,将视网膜微血管异常信号作为心血管疾病的潜在预警信号。目的:糖尿病是主要的心血管风险因子,对视网膜微血管的结构和功能有显著的影响。通过深度学习的可视化技术,分析糖尿病状态下眼底影像中视网膜微血管形态学改变的显著特征。材料和方法:2017年05月至2018年12期间,由于眼部疾病来沈阳何氏眼科医院就诊的住院患者。根据排除标准,最终共479名糖尿病患者(534只眼)纳入研究,其中男性261人,女性218人,年龄27～88岁,平均61.19±10.35岁;非糖尿病人群375人(550只眼),其中男性183人,女性192人,年龄31～88岁,平均60.74±10.25岁。使用45°彩色立体眼底照相机以黄斑为焦点为两只眼睛依次拍摄,每张视网膜照片包括视盘、黄斑和视网膜微血管。利用自适应直方图均衡以及Gamma校正对眼底照片进行增强处理,增加图像对比度,突出视网膜微血管结构,建立眼底照片的“增强数据集”,共包括1084张眼底图像,其中糖尿病534张,非糖尿病550张。利用训练好的U-net模型,对视网膜照片进行语义分割,仅保留视网膜微血管结构,建立眼底照片的“分割数据集”,每一张图像都与“增强数据集”眼底图像一一对应。糖尿病眼底图像的标签为1,非糖尿病眼底图像的标签为0。建立用于图像分类的深度卷积神经网络,分别利用“增强数据集”和“分割数据集”训练模型。将数据集中的眼底照片随机分为5组,使用5折交叉验证,每次取一组样本作为测试集,不参与模型的训练,余下四组样本作为开发集用于模型训练,总共进行5次训练和测试。使用总体准确率(Accuracy)、总体特异度(Specificity)、糖尿病的精确率(Precision)、糖尿病的召回率(Recall)以及ROC曲线下面积(AUC)来评估模型分类效果。使用“增强数据集”,利用基于梯度的类激活图(Grad-CAM)绘制“糖尿病”类激活热力图。使用“分割数据集”绘制“糖尿病”类以及“非糖尿病”类激活热力图。结果:对于“分割数据集”,模型在测试集上的表现:总体准确率为65.78%,总体特异度为71.12%,糖尿病预测精确率为66.52%,糖尿病召回率为60.22%,ROC曲线下面积为0.7003。对于“增强数据集”,模型在测试集上的各项评价指标均明显上升,总体准确率为74.82%,总体特异度为77.62%,糖尿病预测精确率为75.69%,糖尿病召回率为72.04%,ROC曲线下面积为0.8324。对于“增强数据集”,“糖尿病”类激活热力图红色热区主要分布于四个区域:黄斑区、视盘周围区、视网膜病变区和视网膜微血管走行区。对于“分割数据集”,“糖尿病”类激活热力图红色热区主要分布于三个区域:斑片状红色热区分布于视网膜微血管的二分叉区域,这些二分叉区域包括视网膜微动脉的分叉,也包括视网膜微静脉的分叉,还有一些图片的红色区域分布于微动脉和微静脉的交叉处;条片状红色热区分布于视网膜微静脉干;条片状红色热区分布于视网膜微动脉干。对于“非糖尿病”类,红色热区沿视网膜微血管走行成连续分布。结论:相对于非糖尿病眼底图像,糖尿病眼底图像的主要形态学特征分布于四个区域:黄斑区、视盘周围区、视网膜病变区和视网膜微血管走行区。糖尿病状态下视网膜微血管形态学改变主要包括:视网膜微血管二分叉模式的改变、视网膜微动脉干形态改变和视网膜微静脉干形态改变。