前言瞳孔大小和对光反射变化是急危重症患者神经功能评估的重要内容,特别在早期发现颅内压升高、评估脑干功能变化上有重要价值。目前临床上对瞳孔的检测手段有限,传统使用的目测法评估瞳孔大小和对光反射的准确性差,具有主观局限性,难以发现细微的变化。新型的瞳孔检测技术如红外瞳孔测量等不断出现,床旁超声可以清晰地观察到瞳孔及其他眼部结构,但目前尚缺乏相关研究和探索。此外,临床单靠瞳孔或意识来判断颅内压升高情况还不可靠,常用的有创/无创监测技术如颅内压监测仪、近红外光谱技术、经颅多普勒技术等具有操作复杂、仪器昂贵、结果影响因素多及有并发症的风险等,研究发现超声测定视神经鞘直径评估颅内压升高是一种相对较准确的方法,且具有快速、便捷、可重复性好、价廉等特点。因此床旁超声监测瞳孔大小变化和测量视神经鞘直径在神经系统检查中具有巨大的潜能。呼吸系统功能损害是急危重症救治中常见和重要的问题。快速鉴别病因,如肺水肿、气胸、肺栓塞以及肺不张和胸腔积液等,并动态监测病情变化,对指导针对性处理至关重要。目前对呼吸系统的评估主要依靠床旁体格检查,但无法精确评估;CT检查是评估肺损伤的金标准,但需要将患者转运到CT室,搬运风险大、有辐射、价格昂贵、重复评估的可行性差。床旁肺超声是评估各种肺部病变的一种有效手段,尤其床旁肺超声评分对肺通气状况的半定量评估,可动态监测肺损伤病情变化,评估治疗效果并协助机械通气者脱机过程。因此,床旁超声在急危重症呼吸系统功能评估中具有重要价值。床旁超声检查虽然具有操作简单、移动方便、即时成像、无辐射等优点,在急危重症的快速评估中展示出巨大的价值,但其应用效果主要依赖临床医生的超声图像获取和解读水平,由于当前缺乏规范的教学培训及足够训练时间,急危重症临床医生的超声技能参差不齐,影响超声评估的准确性和可靠性,甚至误诊造成严重后果。近年来,随着人工智能技术在医学领域中应用的不断发展,其在超声影像中的应用得到高度关注,可以明显提高诊断精确度和一致性,减少医师的阅片时间。但是目前大多的人工智能技术应用在超声专科中,针对急危重症超声领域的人工智能技术近几年刚刚兴起。本研究中,我们探讨基于深度学习的人工智能技术在急危重症神经和呼吸系统功能超声快速评估中的应用,建立瞳孔、视神经鞘和肺损伤的超声智能识别和自动量化技术的开发,为以后人工智能技术在急危重症超声更多领域的应用及智能化体系的建立提供科学依据。第一部分基于深度学习模型建立瞳孔大小及对光反射的超声自动测量技术目的:采用深度学习经典卷积神经网络构建瞳孔大小及对光反射的超声自动测量技术。方法:于2017年6月至2018年12月期间,急诊医师应用床旁超声在浙江大学医学院附属第二医院急诊重症监护室录制患者双眼的瞳孔大小及对光反射的扫查视频。针对瞳孔超声测量的需求,采用8-12MHz的线阵探头,设计带有光源的新型眼部超声探头结合在里邦AX8 Supper便携式超声设备上,实现瞳孔超声检测时的光刺激并实时记录对光反射。由固定的经过超声培训的医师利用该超声机获取500次病人对光反射检查中的瞳孔超声图像视频,最终截取共获得8366张图像,分为训练集6317张,验证集1049张和测试集2000张。采用深度学习经典分割模型UNet进行瞳孔区域的识别与分割,同时在网络内部引入残差模块收敛速度,并对模型进行轻量化处理以缩减模型内部参数。模型训练过程中在传统的二值交叉熵损失函数的基础上增添Focal loss损失函数以增加困难样本的权重,提升模型对困难样本的分割精度。并对数据进行归一化处理,以增加算法泛化能力和稳定性。此后对模型的预测结果进行二值处理,并在二值图的基础上进行椭圆拟合,最后得到瞳孔直径。通过算法的不断训练和验证成功建立自动测量模型后,结合相关的软件和硬件系统将其整合到床旁超声机,实现对实时图像中每一帧瞳孔的自动识别、和直径的自动测量,评估对光反射中的各指标。结果:1.成功设计带有光源的新型眼部超声探头,超声机可以自动控制LED灯的开关及持续时间,使操作者实现脱离手电筒的瞳孔对光反射的检查。2.基于UNet方法初步建立了瞳孔超声自动测量技术,其准确率为0.9991±0.0009,精确率为0.9550±0.0585,召回率为0.9398±0.0633和F1值0.9443±0.03755。基于样本分布和需求优化后的模型瞳孔超声自动识别和测量的准确率为0.9991±0.0007,精确率为0.9484±0.0650,召回率为0.9530±0.0537,和F1值0.9479±0.03721。其效果优于经典UNet模型。3.将优化后的瞳孔超声自动测量技术成功结合至床旁便携式超声机上,将带有光源的探头放在眼睑上,观察到瞳孔后适时给予光刺激,即可自动获取瞳孔光反射的超声视频,自动计算出瞳孔最大直径、瞳孔最小直径、瞳孔收缩速度、恢复速度和对光反应延迟时间等指标。结论:本研究采用深度学习经典卷积神经网络成功构建了瞳孔大小及对光反射的超声自动测量技术。第二部分基于深度学习模型建立视神经鞘直径的超声自动识别与测量技术目的:基于深度学习模型建立视神经鞘直径的超声自动识别与测量技术,为急危重症患者颅内压监测提供快速、准确的方法。方法:于2018年6月至2019年12月期间,急诊医师应用床旁超声在浙江大学医学院附属第二医院急诊重症监护室录制患者双眼视神经鞘的扫查视频。利用第一部分研究设计的新型眼部超声探头,由固定的经过超声培训的医师使用里邦AX8Supper便携式超声设备,将探头横向置于闭合的上眼睑处并沿轴向等角度逐次转动,形成视神经鞘扫查视频。共采集230例病人的视神经鞘扫查视频。最终由工程师从视频段中截取获得视神经鞘图像共7050张,其中训练集4775张,验证集1525张,及测试集750张。采用UNet变体模型SD-UNet,并加入注意力机制模块,让模型学习关键区域,提高模型的泛化性能和收敛速度。此外,对模型进行压缩、裁剪处理,以减少模型内部参数,加快推理速度。在模型训练过程中使用Focal loss+Dice损失函数,加大前景区域的权重和减少困难样本的损失,并对模型的预测结果进行二值处理后与医生标注结果对比量化分析,实现对扫查视频中最佳切面图像的快速定位,并根据视神经鞘直径测量标准自动测量和标注。结果:1.初步建立了视神经鞘直径的超声自动测量技术,可以在不同角度扫查视神经鞘直径的视频中自动选择测量视神经鞘直径的最佳帧。2.基于SD-UNet初步建立模型实现自动选择超声视神经鞘直径的最佳帧,其Dice系数为0.8723±0.1814,灵敏度为0.8448±0.1485,特异度为0.9917±0.0075,F1score为0.8647±0.0875,画面每秒传输帧数（Frame Per Second,FPS）为45。优化后的模型Dice系数为0.8817±0.1708,灵敏度为0.9052±0.075,特异度为0.9893±0.0074,F1 score为0.8761±0.0631,FPS为34。3.将该模型成功整合到床旁超声机,机器可以在扫查视频中自动识别最佳测量帧同时标注出眼球后3mm视神经鞘直径大小。4.机器同时支持医生手动选择一帧视神经鞘图像,点击界面上的测量按键,模型可自动进行该帧图像上视神经鞘直径的标注和测量。结论:本研究基于深度学习模型成功建立了视神经鞘直径的超声自动识别与测量技术,为急危重症患者颅内压监测提供快速、准确的方法。第三部分基于深度学习模型建立急危重症患者肺超声评分的自动测量技术目的:基于深度学习模型建立急危重症患者肺超声评分的自动测量技术,实现对肺部损伤的智能识别和自动量化评估。方法:于2019年1月至2019年12月期间,急诊医师应用床旁超声在浙江大学医学院附属第二医院急诊重症监护室为病人进行肺超声检查。固定的经过超声培训的医师使用M9便携彩色超声机的凸阵探头进行肺部12分区的超声检查和图像收集,并由超声专家团队在经典肺损伤超声评分（0-3分）基础上建立新型细化评分标准（0-7分）,获得各级评分的肺超声图像共5610张,其中训练集4489张,测试集1121张。由另一位经验丰富的医师对每张超声图像分别进行传统和新型肺超声评分,并整理到不同子文件夹中。选用Res Net 50为基本模型,初步建立自动肺超声评分技术,此外,为了实现模型在便携式超声机上的实时应用,通过迁移学习建立不同的轻量级模型并进行效能比较,选择最佳模型。同时为了解决样本分布不均的问题增加双边分支网络,并使用知识蒸馏法提升Res Net 50和最佳轻量级模型的精度。不断进行模型训练、交叉验证及测试,最终实现分别基于经典肺超声评分和新型细化的肺超声评分标准的床旁肺超声人工智能辅助诊断模型。结果:1.基于Res Net 50初步建立肺超声人工智能辅助诊断模型,该模型对经典肺超声评分的诊断准确率为93.75%,0-3分的精确率分别为0.94,0.77,1.00,0.99;模型对新型细化的肺超声评分的诊断准确率为94.28%,0-7分的精确率分别为1.00,0.97,0.83,0.88,0.83,1.00,0.67,0.98。2.在Res Net 50基础上通过迁移学习建立不同的轻量级模型,基于经典肺超声评分的模型效能如下:Mobilenet V2模型的准确率为93.19%;Mobilenet V3-large模型的准确率为92.56%;Mobilenet V3-small模型的准确率为92.30%;Shufflenet 2.0模型的准确率为91.34%。其中Mobilenet V2模型的效能最好;基于新型细化的肺超声评分的轻量级模型效能如下:Mobilenet V2模型的准确率为90.09%;Mobilenet V3-large模型的准确率为91.38%;Mobilenet V3-small模型的准确率为92.30%;Shufflenet 2.0模型的准确率为91.34%。3.经进一步优化后,Res Net 50模型对经典肺超声评分的准确率为93.75%,0-3分的分类精确率是0.94,0.82,0.93,1.00,对新型细化的肺超声评分的准确率为93.22%,0-7分的分类精确率是0.95,0.84,0.81,0.93,0.94,0.95,0.90,0.89;最优轻量级模型Mobilenet V2模型对经典肺超声评分的准确率为92.26%,0-3分的分类精确率是0.96,0.82,0.95,0.97,对新型细化的肺超声评分的准确率为91.77%,0-7分的分类精确率是0.95,0.91,0.80,0.80,0.94,0.94,0.89,0.94。4.将优化后的Mobilenet V2模型整合到软件平台,实现床旁即时肺超声图像的快速自动评分。结论:本研究基于深度学习模型成功建立了急危重症患者肺超声评分的自动测量技术,实现对肺部损伤的智能识别和自动量化评估。