论文部分内容阅读
在互联网时代,用户的在线购物以及选择商品已经非常流行,在线市场已经成为各大服装电商竞争的主战场。厂商会推出一些展示的走秀视频供用户进行在线观看,而视频中的服装推荐一般是基于用户主动搜索的被动推荐,如何自动对用户进行服装推荐,精准找到用户所需要购买的服装,同时对底库中相似的服装进行推荐,是一个目前研究尚少的课题。本文致力于研究在线服装视频中的服装定位、相似度匹配、推荐算法、模型加速。通过精准的服装定位找出模特的上身、下身、全身服装;对定位后的服装进行特征抽取,同时将走秀视频中的服装和数据库中的服装进行精确的匹配查找。同时本文还建立了 一套科学的测试标准,用于比较视频中的服装匹配算法性能。在服装及特征点定位方面,利用Faster RCNN的框架,同时对模特的上身、下身、全身的服装进行精确检测。检测出服装位置之后,利用关键点定位(alignment)对服装进行特征点(landmark)定位,在局部特征(local)分支利用Rol pooling抽取各特征点附近的服装特征。最后和全局(global)分支的特征进行特征融合。在特征抽取方面,通过用深度学习网络抽取特征作为基础框架,引入残差单元和注意力单元,使得算法能够屏蔽无效的图像区域,将特征的表达集中到服装本身。同时加入度量学习的方法,用Triplet Loss训练出更加紧致的特征空间,使得同类样本的特征聚集度更高,从而提升特征匹配的准确度。出于在线服装走秀视频实时性的考虑,在模型加速方面,本论文提出了基于mimick的模型加速方法提高系统的实时计算效率。本文搭建了一套可以应用在实时视频里的在线服装推荐系统,同时设计了一个可以端到端训练的网络,实验结果验证了系统的有效性。