论文部分内容阅读
随着服装网购市场的蓬勃发展,将人工智能应用于服装电子商务已经成为热门研究领域。使用机器学习方法分类、检索和搭配服装商品对提高电商的服装销售量有着重要的作用。虽然该领域已经有很多工作积累,但它们仍存在许多缺点需要改进,例如:鲁棒性、交互性、可解释性等等。本文着重研究基于内容的服装图像检索和基于高层语义的服装搭配推荐。首先,我们提出了一种全新的满足用户多维度需求的检索方法。它允许用户自定义搜索条件,通过编辑修改原始查询服装图像的颜色、纹理、形状和属性描述子来进一步阐述他们的需求,从而提升检索效率和质量。与其它基于内容的检索方法相比,我们的方法是提取商品样图中的多种低层服装描述子,并通过创新的“混合主题模型”(HT)学习这些描述子的高层语义表征。我们的模型不仅提供有效的服装检索特征,而且可以通过置信推理自动标注服装图像的属性。其次,我们将视觉感知模型与概率推理模型相结合,提出了一种全新的服装搭配推荐方法。它的搭配同时兼顾了人类视觉审美、用户搭配经验以及对前沿时尚的敏感性。为了进一步提高推荐的准确性与鲁棒性,我们在建模过程中充分利用了服装的多维度数据信息:包括用户消费历史记录、服装商品图像、商家描述、时尚网站街拍图像以及专家搭配建议。在分析上述信息时,我们使用深度卷积神经网络提取服装图像的视觉和属性描述子,同时采用我们提出的层次化搭配模型(Hierarchical Collocation Model,HCM)对这些描述子进行整合。由此我们可以学习到服装图像的风格款式主题概念,从更高的语义知识层面来解释服装搭配模式。最后,HCM在结构上便于我们把专家经验知识嵌入到推荐模型中,使得我们推荐的搭配能够紧跟时尚潮流趋势。我们进行了多项实验来评估本文提出的服装检索和推荐方法。实验结果表明,我们的算法比当前主流的方法效果更好。在服装检索任务中,我们基于HT模型设计了“Magic Wardrobe”交互式检索系统。它支持用户自定义的检索需求,并可以估计HT算法在不同实验条件下的检索准确率。而在服装推荐任务中,我们验证了HCM算法能在保证性能的同时为用户提供个性化和对时尚敏感的搭配推荐服务。最终,我们还给出了许多检索和推荐实例,用于证实我们的结论。