基于多模态信息融合的全自动超声机器人系统关键技术研究

来源 :南昌大学 | 被引量 : 0次 | 上传用户:jialin5163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超声成像是目前临床运用最广泛的医学成像技术之一,具有对人体伤害小,操作过程较为简单等特点,然而随着新冠肺炎(COVID-19)在全世界的流行,医护人员在超声检查中需要频繁与感染病人进行问诊接触,给医护人员带来极大的感染风险。为了降低医护人员感染COVID-19的几率,降低医护人员工作量,急需智能超声机器人代替医护人员对病患进行超声扫描工作。然而现有的智能超声机器人往往难以实现超声扫描的自动化,同时仅利用了环境单一的视觉信息,没有充分利用并结合超声扫描过程中视觉和触觉等模态的信息。基于以上背景,本文搭建了一套基于多模态信息融合的全自动超声机器人系统,结合视觉和触觉等多个模态的信息辅助超声机器人决策,具体贡献如下:(1)为了确定超声机器人扫描的范围,提出了一种基于Anchor-free的目标检测算法TTFNet-lite检测病人的胸腹。该算法在TTFNet目标检测模型基础上进行了改进,TTFNet-lite目标检测算法首先将TTFNet的骨干网络由Darknet53更改为Mobile Net V3-Large,大大降低了参数量和模型体积。除此之外,TTFNetlite还采用了Cut Mix等数据增强算法以及可变性卷积等操作。实验表明TTFNetlite目标检测网络相比TTFNet目标检测算法训练时间更短、检测精度更高,能完成实时检测病人胸腹目标的任务。(2)为了实时判断超声机器人抓握超声探头的状态,并控制超声扫描过程中探头的稳定,提出了一种基于宽度学习系统的实时触觉感知与分类的方法。本文采集并预处理了机器人末端触觉数据,制作抓取状态数据集,并引入宽度学习系统训练该数据集。训练好的宽度学习系统实现了实时检测的预期目标,为系统提供了触觉模态的反馈,进一步增强了全自动超声机器人的鲁棒性。(3)搭建了一套多模态信息融合全自动超声机器人系统。首先,对超声机器人的扫描系统进行研究,主要包括扫描范围确定和扫描轨迹规划。为了确定扫描范围,本文对原始深度图像进行了滤波、配准以及填补漏洞等操作,同时设计了扫描策略并规划扫描轨迹。然后,对全自动超声机器人系统的三个子系统进行了整合,配置网络与数据传输标准。最后,本文将软硬件平台部署完后进行了功能测试,实验结果表明本系统能完成机器人自动超声扫描的任务。
其他文献
我国电网发展迅速,相应的电力基础设施建设逐渐增加,电网环境下的施工安全问题日益受到关注。电网的基建施工现场情况复杂,及时检测并发现施工现场潜在的安全隐患十分必要。本文将电网施工现场可能引起事故发生的原因概括为人员的安全帽佩戴情况与现场工程车辆的作业情况两部分,依靠监控设备的广泛应用,结合目标检测算法对电网施工现场的运动目标与不安全行为进行研究,主要工作如下:(1)将下颌带是否系好作为安全帽是否正确
学位
随着现代社会的发展,国民生活和经济建设对电能的依赖越来越强,电力系统的重要性日益提升。本文以降低电力系统运行成本为研究目的,从提高短期负荷预测精度和优化电力系统经济调度两方面展开研究,提出了基于混合网络的短期负荷预测模型,并以负荷预测结果为依据,建立以经济成本最小为目标函数的短期调度优化模型。首先,本文选择深度置信网络作为短期负荷预测的主要算法,由于采取分阶段训练方式,其在学习数据深层特征方面具有
学位
输电线路杆塔外绝缘的主要形式是空气间隙,目前研究间隙放电过程的物理模型大多针对简单间隙结构,且相关理论极不完善,难以直接应用于工程间隙,获得输电线路空气间隙放电特性的主要手段依旧是真型试验。因此,为了减少试验成本,建立更有效准确的放电电压预测模型,本文在三维空间提出了一种对空气间隙的锥形特征提取场域,并定义了一个可用于表征间隙结构变化等参数的73维电场分布特征集,采用支持向量机(support v
学位
电触觉设备作为一种主流的触觉反馈设备,具有频率响应速度快、易于提供多点触觉反馈、便于集成控制等优点,在人类生活中的各个方面得到了广泛应用。事实上,电极-手指皮肤阻抗模型的精确性对电触觉设备的设计、控制和优化至关重要,然而这种重要性在现有的电触觉设备设计中常常被忽略。因此,现有的电触觉设备无法为人体手指提供足够准确和可靠的触觉反馈信息。所以亟需对电极-手指皮肤阻抗模型进行研究,进而设计出一个可靠且准
学位
经济社会的发展伴随的是对能源需求的增加,同时环境保护的压力也是节节攀升。综合能源系统通过能源、信息、通信技术的耦合横向进行调节,有效的缓和了能源紧张与环境保护间的矛盾。基于综合能源系统的有效性,使系统实现低碳经济且高效的优化配置与调度运行是一个值得注意问题,针对这些问题本文的主要研究内容如下:首先,分析了综合能源系统的架构与系统中各种能量的耦合关系,将综合能源系统中的设备分成三个部分:可再生发电设
学位
腔光力系统通常由光学微腔与机械振子通过辐射压力耦合而成。得益于纳米加工技术的不断进步,光学微腔的制备技术也逐渐成熟,使腔光力学在许多领域得到迅速发展。如量子信息处理、非经典态的制备、超灵敏测量以及量子传感等。近些年,腔光力系统中的光力诱导透明(Optomechanically Induced Transparency,OMIT)在量子存储领域展现出巨大的发展潜力,多种不同的复合腔光力系统被提出,包
学位
腔光力学是一门集量子光学和机械科学等学科于一体的交叉学科,其主要研究的是光学(微波)场与机械运动物体之间的相互作用。腔光力系统无论是在基础研究还是在实际应用中都受到广泛的关注,在生物传感、弱力探测和量子信息处理等领域都具有极其重要的应用价值。近年来,受益于微纳制造业的迅速发展,腔光力系统的制备也得到了不断优化,其日益成为研究宏观量子效应和实现有效量子操控的理想平台。众所周知,由于机械振子在热环境中
学位
近些年来,随着研究的深入进行,全双工中继通信系统不仅可以扩大通信服务的覆盖范围,而且还可以进一步提升系统的频谱利用效率和通信的数据传输速率,受到了全世界研究学者的广泛关注。全双工中继通信系统能够在相同频率和时间内,同时发送信号和接收信号,因此与半双工中继通信系统相比能够成倍地提高频谱效率。但是全双工中继通信系统的中继收发端之间存在着信号泄漏,这会导致自干扰的产生,自干扰使得中继通信系统的性能严重恶
学位
天线调谐(阻抗匹配)作为无线通信设备的关键性技术之一,不仅关系到通信信号的传输效率,同时也是减少传输线路反射电流、保障系统正常工作的有效途径。星载低频频率步进雷达是一台低功率、超宽带的空间等离子体探测系统,采用500米偶极子天线,覆盖30 k Hz~3 MHz以5%步进的发射频率范围。在大部分频点,固定尺寸的偶极子天线都处于阻抗失配状态,严重影响信号传输质量以及系统工作稳定性。另一方面,天线处于不
学位
在临床实践中,由于磁共振成像可通过使用不同对比度设置生成多张磁共振图像,从而为临床诊断提供丰富的多对比度信息。然而,过长的扫描时间增加了生理运动的敏感性,这将会降低成像效果。因此,随着扫描次数的增加,在不牺牲图像结构信息的前提下,迫切需要可以缩短扫描时间的技术来降低成本、减少病人的不适。压缩感知可以通过减少直接由机器获得的K空间(即傅里叶空间)测量数据来加速磁共振成像。压缩感知理论研究表明,如果经
学位