论文部分内容阅读
随着电商平台日益蓬勃发展,人们越来越习惯在线购买服装。为了更好地购物,人们希望电商平台能够提供服装的检索功能,并在自己购买服装的时候能够提供适宜的服装搭配建议。用户有着这样的需求而且网上有着海量的服装图片,在这个背景下各大电商都希望能够在服装的检索和搭配上给用户提供更好的服务从而增加自己的竞争力。服装的检索基于对图片特征更好地理解,服装的搭配基于对服装之间兼容性关系地更好地应用,本文利用深度学习探究了服装检索和搭配的这两个重要问题,本文的主要工作如下:将胶囊网络(CapsNet)进行改进作为本文的服装检索模型。原始胶囊网络的多角度理解物体能力较强,但是特征提取层只有一层卷积层,无法适用于复杂的现实数据集中。本文使用添加SE-Block的残差模块作为胶囊网络的特征提取模块,增强了它的特征提取能力使其能够适用于服装图片领域。不同于大多数服装检索模型使用三元组损失(Triplet Loss)来训练,本文使用边界挖掘损失(Margin Sample Mining Loss,MSML)作为度量学习的损失函数来训练优化模型。在Deepfashion数据集上进行实验,发现本文的模型不仅参数个数少,并且与基于卷积网络的服装检索模型相比,查全率上也有所提高。将图卷积自编码(Graph AutoEncoder,GAE)模型用于服装搭配。将服装当作图中的一个节点,两个服装能够搭配就是两个服装节点之间有着边存在,因此图中就包含了所有服装搭配的信息。使用图卷积网络(Graph Convolutional Network,GCN)作为编码器学习服装相互之间的搭配关系。因为人们日常挑选不同类型的衣服看重的属性不同,在此常识下提出一种可以感知到服装类型的解码器(Type-aware Decoder)。在Polyvore服装搭配数据集上进行实验,发现在扩充的FITB(Fill-InThe-Blank)任务中,各个选项数目下本文的模型都取得了最优的效果,当选项个数为4时,预测准确率能达到0.93。在预测搭配是否合理的二分类任务中,AUC值可以达到0.99,与其他模型相比结果也是最优。最后指出了对于本文所提出服装检索模型和服装搭配模型的未来改进方向。对于本文的服装检索模型,可以从使用更先进的度量学习方式、在网络中实现注意力机制等角度来改善模型。对于本文的服装搭配模型,可以从使用更多的服装文本属性信息、实现用户个性化的角度来对其进行优化。