论文部分内容阅读
依赖于“大数据”技术与高性能处理器的蓬勃发展,深度学习以其强大的鲁棒性和有效性成为了计算机视觉、自然语言处理等人工智能分支领域中占据主导地位的研究方法。人体关键点检测是计算机视觉中一个极具挑战性的研究。可用于:动作识别,异常行为检测,安防等。在心脏医学图像处理领域,心脏关键点定位也是一项意义重大的研究。准确地定位心脏关键点有助于实现心脏图像全自动分割应用。并且,它是许多后续图像处理与分析步骤的必要条件。这两种研究在形式和特征上存在着内在的联系。本文旨在提出一种基于深度学习的模型,解决人体关键点检测任务中存在的诸多问题,提升检测效果。同时,分析这两种任务具体的区别与相似性,从而使用迁移学习的方法将本文提出的模型应用于心脏关键点定位的任务中。在心脏关键点定位的研究中,基于深度学习的方法相对较少。但是在人体关键点检测领域,基于深度学习的方法层出不穷。所以本文,首先从人体关键点检测任务入手,分析深度学习模型的演变。该任务目前主要存在人体关键点尺度差异性问题和冗余信息干扰问题。针对前者,本文引入目标检测领域中流行的特征金字塔网络(Feature pyramid network),通过在多尺度的特征图上提取特征并将高层语义特征与底层图像特征融合的方式解决此问题。针对后者,本文将设计一种以掩膜(Mask)表示的注意力模型(Attention model)并将其融入网络结构中。注意力模型被广泛的用于图像描述,图像识别等领域,其目的是模仿人类视觉系统中对主要任务投入更多关注和对冗余信息进行过滤的机制。本文在每个改进后都设置了对比实验以验证假设。最终提出了一个新模型——特征金字塔注意力沙漏模型,其在MPII和LSP人体关键点检测数据集上取得了目前最好的检测效果。本文最后部分分析了心脏关键点定位与人体关键点检测任务的区别与联系。而这些区别与联系正对应于迁移学习可解决的问题和基本原理。随后,使用基于模型的迁移学习方法将新模型应用于心脏关键点定位的任务,并设计对比实验验证模型效果。实验显示,新模型同样在心脏关键点定位任务中取得了目前最好的效果。特征金字塔注意力网络模型在人体关键点检测和心脏关键点定位两个任务中取得了良好的效果,有助于相关领域的发展和医疗技术的进步。