论文部分内容阅读
近年来随着电子商务的快速发展,虚拟试衣、衣物推荐、以及基于图片的衣物检索等逐渐具有广泛的应用需求。这些应用中的一个关键的问题是衣物的识别与解析,即实现图片级别和像素级别的衣物标注。现实中的衣物图片背景复杂、图片中的人体姿势各异、衣服形状款式多样,同时带标签数据集有限,使得衣物识别及衣物解析变得十分困难、现有的模型性能普遍不理想。为此,本文主要针对图片中衣物类别的相关特性以及影响衣物解析性能关键因素进行深入研究,提出了衣物识别和解析的改进算法。具体工作包括:(1)图片层面上的衣物识别,即针对衣物图像进行衣物类别的标注。目前主流的衣物识别算法都使用单一任务模型训练衣物分类器,没有考虑衣物类别之间的共现关系。即便有部分工作考虑了这一关系,其模型也不利于之后的特征选择。针对这一问题,本文将衣物共现约束项加入到多任务学习的目标函数中,以拟合衣物类别之间的关系。实验证明,加入衣物共现约束项的平均性能优于单一任务学习、神经网络以及传统的多任务学习等方法,其训练结果便于可视化,可用于特征选择。(2)像素层面上的衣物解析,即对一张图像中不同区域标注具体的衣物标签。首先,虽然目前大部分主流模型都有考虑人体部位的对称性,然而它们却忽略了衣物本身的对称性;另外,许多衣物解析模型的解析结果中存在边缘标签模糊现象,也即不同衣物区域的接壤处的错误率较高。针对这些问题,本文参考视觉感知(visual perception)领域中的感知归类(perceptual grouping)理论,对基础的结构性条件随机场模型进行改进。即,根据对称性感知,在模型中加入体现衣物对称性的二元势函数以将对称性相近的备选区域标注为相同的类别;另外,根据轮廓闭包理论,在基础模型的损失函数中加入了轮廓距离代价项,惩罚没有与实际边界对齐的预测边界,使得预测的衣物区域边界尽量与实际图像中的边缘对齐以减少接壤区域的错误率。最后,基于衣物识别的实验结果,将原模型中使用单一任务逻辑回归训练的部分改为使用多任务学习,以挖掘衣物类别间关系。实验证明,改进的衣物解析模型的平均性能高于目前主流的基于条件随机场或隐式马尔科夫模型的衣物解析模型,而且能更好地解析某些特殊衣物图片。