论文部分内容阅读
由于其具有展示个性和塑造文化的能力,时尚正在我们的社会中发挥着越来越重要的作用。近年来,服装、鞋、首饰等时尚产品的在线零售市场持续繁荣,也反映了人民大众对时尚商品的巨大需求。人人都想拥有时尚的魅力,但并不是人人都是时尚的专家。面对在线零售市场上琳琅满目的时尚商品,怎样挑选和搭配才是时尚的,对于广大用户来说都是一个令人头疼的问题。从商家的角度,如何给用户推荐具有可信度的时装搭配,对于提高商品销售量也至关重要。而时尚推荐技术正是为了解决上述的困难。同时,近年来,大量以时尚为导向的社区涌现。时尚专家们可以在社区中分享他们的时尚秘诀。而时尚推荐技术则可以从这些社区中汲取丰富的数据来改善当前的推荐表现。本文旨在解决时尚推荐中的套装匹配问题:即为给定的上衣(如T恤、夹克衫等)推荐相匹配的下衣(如牛仔裤、裙子等),反之亦然。之前关于时尚推荐的工作,大多数都侧重于设计或提取有效的视觉特征来增强推荐的效果。现有的工作都忽略了针对时尚套装的用户评论。而在针对其它领域的推荐系统中,这些评论已被证明在产生可解释的和更好的推荐结果方面是很有用的。本文提出了一种新颖的基于深度学习的时尚推荐框架——可解释套装推荐系统(EOR),它能在推荐时尚套装的同时模拟用户生成评论。所生成的评论可以反映大众对于被推荐套装的一般看法,其可以作为推荐的解释,从而提高推荐的可信度。该框架由两部分组成:套装匹配部分和评论生成部分。对于套装匹配部分,本文首先用卷积神经网络来提取上衣图片和下衣图片中的视觉特征;然后本文提出了一种交互注意力机制可以把上衣和下衣间的匹配关系编码进它们的视觉表示里;最后本文用一个多层前馈神经网络来将它们的视觉表示解码成一个打分作为匹配预测。而对于评论生成部分,本文提出了一种具有跨模态注意力机制的门控循环单元网络,来将视觉特征转换为简洁的句子作为评论和推荐解释。其中的跨模态注意力机制可以帮助我们的网络更有效地利用视觉信息来生成文字。这两部分可以由基于端到端后向传播算法的多任务深度学习框架来共同训练。本文从一个在线时尚社区上收集了一个大规模的套装数据集,其中包含了大量的用户针对套装的评论。同时本文还使用了一个小规模的现有数据集。在这两个数据集上所进行的大量实验表明,本文提出的框架在套装推荐方面比最先进的基准方法在MAP、MRR和AUC这几个指标上都有了显著的提升。与此同时,与人类撰写的真实评论相比,本文生成的评论获得了令人印象深刻的ROUGE和BLEU分数。所生成的评论可以被视为是对推荐结果的解释。此外,本文还通过一系列的实验来验证我们所提出的两种注意力机制的有效性。