论文部分内容阅读
随着互联网经济的飞速发展,线上购物已经成为了一种生活方式,服装网购的市场规模也在逐年增长。顾客在购买服装时,非常关心衣服穿到自己身上的实际效果如何,但是在线上购买时只能根据商家提供的图片进行挑选,无法像在实体店一样可以试穿。虚拟试衣技术利用三维建模仿真算法或二维图像生成算法来模拟指定服装穿在用户身上的着装效果,为其提供更加真实的购物体验。因此该技术有巨大的应用前景,其能够辅助顾客做出购买决策,有助于促进服装的线上销售。本文提出了基于纹理修复的虚拟试衣网络,通过输入用户图像和模特图像,该网络能够生成该用户身穿模特身上服装的试衣结果。与前人方法的区别在于,本文所提出的方法在无需训练额外网络的前提下实现了“随心换”,即用户可以选择模特身上指定的服装(上装、下装、全身服装)进行换衣。本文认为试衣结果主要由服装纹理和用户纹理构成,首先,依据用户图像和模特图像的密集姿态,通过纹理重映射得到服装纹理,且该纹理与用户的体形、姿态相匹配;再利用人物解析迁移,通过输入用户身体分割图和模特人物解析得到迁移结果,其恰好为试衣结果所对应的人物解析;然后对迁移结果和用户人物解析做交集操作实现用户纹理的最优提取;最后合并服装纹理和用户纹理得到一个粗糙的试衣结果,并使用纹理修复网络修复粗糙结果中的纹理缺失区域得到最终的试衣结果。其中,人物解析迁移和纹理修复网络都是借助半监督学习来实现训练,减轻了构建数据集的负担。另外,本文提出了一个交互式纹理调控机制,通过调整纹理提取阶段的中间结果来实现“随心换”。本文还提出了三元组训练策略和皮肤损失来确保最终的试衣结果更加合理、自然。定性和定量的对比实验均证明本文提出的方法要优于当前最好的虚拟试衣方法,能够较好的保留服装的纹理细节和用户的身份信息,并且能够在不同的换衣方式下均生成正确的试衣结果。