论文部分内容阅读
服装关键点作为服装图像理解的一种有效的可视化表示,被应用在服装属性预测、服装检索和服装推荐等众多应用上。然而由于人着衣不同姿态的影响以及服装的非刚性变形,使隐藏点和被遮挡点这类难检测点大量存在。为了解决这类难检测点问题,本文提出了一个针对性的网络模型以及模型训练方法。同时,本文还提出了一种可以融入服装种类先验信息的方法以提高检测效果,具体内容如下:(1)在服装关键点检测网络的特征提取层面设计出了一种并行的由不同个数空洞卷积核堆叠而成的多深度空洞(Multi-Depth Dilated,MDD)卷积模块以及基于该模块搭建而成的多深度空洞卷积神经网络(Multi-Depth Dilated Network,MDDNet)。MDD模块通过提取不同级别的上下文信息来捕获更多的全局依赖关系,从而可以利用这种依赖关系有效地推断出被遮挡点这类难检测点的位置,并通过对比实验验证了MDD模块的有效性。实验结果表明,和2019年提出的SANL-parsing相比,MDDNet的归一化误差在数据集Deep Fashion上从0.0286降低到了0.0251,在数据集FLD上从0.0385降低到了0.0267,实现了先进的检测效果。(2)针对难检测点问题,在服装关键点检测网络的网络训练层面提出了一种批级别的在线难关键点挖掘(Batch-level Online Hard Keypoint Mining,B-OHKM)的网络训练方法。在网络训练时,把每个服装关键点和对该点计算的损失值进行一一对应,损失值越大反映出网络对该点的检测越难。通过这种方法有效的挖掘难检测点,从而可以针对性地对网络进行训练,提高难关键点检测的性能。除此之外,还讨论了MDD模块的可拓展性。最后通过对比实验,验证了B-OHKM训练方法与拓展MDD模块之后的有效性。实验结果表明,在MDDNet的基础上再进行上述改进之后,归一化误差在数据集Deep Fashion上从0.0251降低到了0.0221,在数据集FLD上从0.0267降低到了0.0257。(3)为了提高服装关键点检测模型提取特征的多样性,提出了一种融合服装种类先验信息的服装关键点检测模型。该模型利用词嵌入的方法对服装种类先验信息进行特征表示,然后与卷积神经网络提取的图片特征进行融合,形成一个端到端的神经网络模型。最后通过在Fashion AI数据集上的实验验证了融入服装类别先验信息的有效性。以上研究表明,通过解决难检测点问题以及在网络模型中融入先验信息可以有效的提高服装关键点的检测效果。