论文部分内容阅读
骨龄评估对于青少年身体发育情况的评估有着重要意义,可以用来指导青少年合理运动和饮食。最常用的骨龄评估的临床方法是通过肉眼对比左手手骨和标准手图,来评定骨龄。这种方法是非常主观的,其准确度很大程度上取决于从业者的经验。因此,研究出一种高效、稳定和客观的评估骨龄的方法显得非常重要。
国内外研究学者很早就开展了对骨龄评估任务的自动化和计算机化的相关研究,其中卷积神经网络取得了最好的效果。但是,目前研究仍存在一些问题。第一,不少研究者为了取得更高的精度,将图像分割网络和目标检测网络引入到骨龄评估任务中。这些方法确实提升了精度,但也使得整个网络变得异常复杂,不利于骨龄评估任务的自动化。第二,不少研究者利用卷积神经网络提取手部X射线图像的高阶特征,然后利用传统的机器学习算法来预测骨龄。这种思路存在两个不足,一是没有设计适合骨龄评估任务的卷积神经网络,二是没有对提取的高阶特征进行特征选择。第三,没有研究者尝试压缩这些用来评估骨龄的卷积神经网络。
针对上面的若干问题,论文设计两个研究思路。第一个方案,提升卷积神经网络的特征表达能力,在不借助于目标检测网络和图像分割网络的基础上。第二个方案,在保证骨龄评估结果的精度的前提下,压缩网络。因此,论文将注意力机制和知识蒸馏技术引入到骨龄评估任务中。论文的主要工作和贡献如下:
①论文设计了基于注意力机制的骨龄评估网络。论文首先构建一个骨龄评估网络,然后将适合运用在骨龄评估任务中的注意力机制封装成独立的模块,最后再将注意力模块嵌入到该网络中。注意力机制的目的在于,替代分割网络和检测网络,让骨龄评估网络自动去关注图像中的重要部分,弱化背景的干扰。实验结果表明,注意力机制相较于检测网络,两者性能相当,但是该方案参数量大幅度降低。
②论文设计了基于注意力机制和支持向量回归的骨龄评估机制。现在论文将基于注意力机制的骨龄评估网络作为特征提取器,提取高阶特征,并且引入主成分分析算法和支持向量回归算法处理高阶特征。实验结果表明,该算法在基于注意力机制的骨龄评估网络的基础上,能够大幅度降低误差。
③论文设计了基于知识蒸馏技术的骨龄评估网络。该方案首先构建一个小型网络,然后再让基于注意力机制的骨龄评估网络参小型网络的训练,提升小型网络的性能。实验结果表明,该算法不仅规模小,而且性能也很好。
总结,论文的贡献在于将注意力机制和知识蒸馏技术首次引入到骨龄评估任务中,为后续的研究者提供了不一样的思路。
国内外研究学者很早就开展了对骨龄评估任务的自动化和计算机化的相关研究,其中卷积神经网络取得了最好的效果。但是,目前研究仍存在一些问题。第一,不少研究者为了取得更高的精度,将图像分割网络和目标检测网络引入到骨龄评估任务中。这些方法确实提升了精度,但也使得整个网络变得异常复杂,不利于骨龄评估任务的自动化。第二,不少研究者利用卷积神经网络提取手部X射线图像的高阶特征,然后利用传统的机器学习算法来预测骨龄。这种思路存在两个不足,一是没有设计适合骨龄评估任务的卷积神经网络,二是没有对提取的高阶特征进行特征选择。第三,没有研究者尝试压缩这些用来评估骨龄的卷积神经网络。
针对上面的若干问题,论文设计两个研究思路。第一个方案,提升卷积神经网络的特征表达能力,在不借助于目标检测网络和图像分割网络的基础上。第二个方案,在保证骨龄评估结果的精度的前提下,压缩网络。因此,论文将注意力机制和知识蒸馏技术引入到骨龄评估任务中。论文的主要工作和贡献如下:
①论文设计了基于注意力机制的骨龄评估网络。论文首先构建一个骨龄评估网络,然后将适合运用在骨龄评估任务中的注意力机制封装成独立的模块,最后再将注意力模块嵌入到该网络中。注意力机制的目的在于,替代分割网络和检测网络,让骨龄评估网络自动去关注图像中的重要部分,弱化背景的干扰。实验结果表明,注意力机制相较于检测网络,两者性能相当,但是该方案参数量大幅度降低。
②论文设计了基于注意力机制和支持向量回归的骨龄评估机制。现在论文将基于注意力机制的骨龄评估网络作为特征提取器,提取高阶特征,并且引入主成分分析算法和支持向量回归算法处理高阶特征。实验结果表明,该算法在基于注意力机制的骨龄评估网络的基础上,能够大幅度降低误差。
③论文设计了基于知识蒸馏技术的骨龄评估网络。该方案首先构建一个小型网络,然后再让基于注意力机制的骨龄评估网络参小型网络的训练,提升小型网络的性能。实验结果表明,该算法不仅规模小,而且性能也很好。
总结,论文的贡献在于将注意力机制和知识蒸馏技术首次引入到骨龄评估任务中,为后续的研究者提供了不一样的思路。