论文部分内容阅读
随着智能手机和移动互联网的发展,移动电子商务已经成为了一个热门的发展方向。然而传统的文本关键字搜索方式存在如下问题:1)用户所关注的重点与网站描述不同,常常无法搜索到想要的商品。2)搜索返回的排序结果往往不符合用户的预期。 将视觉检索技术应用于商品搜索将有效解决这两个问题。用户无需思考如何表达搜索意图,避免了描述差异带来的搜索不成功的问题;由于图像的信息较文字描述更加丰富,使得返回更加符合用户意图的排序结果成为可能。然而,为了将移动视觉检索技术应用于商品检索,需要解决如下三个问题: 1)如何描述商品的视觉特性。 商品具有表面光滑及易产生非刚性形变等特性。这些特性导致大部分视觉特征在商品图像上缺乏描述力和辨别力。大量的纯色商品,缺乏纹理信息,颜色及纹理描述子对于这类商品缺乏判别力。形状作为商品图像的重要属性,能够较好描述此类商品。但是,现有的形状特征多基于物体轮廓,因此,对商品内部线条描述不充分,导致对检索有用的信息缺失。 2)如何在保证商品图像检索性能的同时提升检索效率。 检索效率对检索系统的用户来说至关重要。为了提高检索效率,现有方法通过构建词典将图像特征量化成词典中的视觉单词,再使用视觉单词进行检索。词典量化方法的量化误差,将导致描述子对商品的表达能力降低,从而较大程度降低了检索性能。因此,如何在保持检索效率的同时,设计更好的量化词典,降低特征量化误差,是提升商品检索性能的重要问题。 3)如何降低移动网络传输延迟。 由于移动互联网的带宽较窄并且不稳定,直接传送手机拍摄的查询图像将导致传输延迟。因此,如何在保持检索性能的同时对视觉信息进行更紧凑的表达,是降低网络延迟的重要问题。 针对上述三个问题,本文提出一套面向商品图像的基于鲁棒的紧凑形状上下文描述子的移动视觉检索算法,并成功应用于移动商品检索。本文的主要贡献包括: 1)本文提出了面向商品图像的鲁棒局部形状上下文描述子。本文指出为了描述商品的内部形状,需要使用局部形状上下文描述子。然而局部形状上下文描述子缺乏稳定的兴趣点选择过程,本文通过探究匹配描述子与不匹配描述子的差异,提出针对局部形状上下文描述子的特征选择算法。在数据规模为10000张的京东箱包数据集上,SIFT的mAP为13.5%,鲁棒局部形状上下文描述子的mAP为39.07%。 2)本文提出了基于稀疏编码的鲁棒局部形状上下文词典学习算法。该算法结合了稀疏编码的低量化误差及SVT量化框架的低复杂度,在京东数据集上的检索实验,使用层次稀疏编码词典学习算法的商品检索mAP较使用Kmeans词典学习算法的商品检索mAP由39.07%提升至51.07%。 3)本文提出了基于鲁棒紧凑形状上下文描述子的商品检索算法。通过分析经过层次稀疏编码量化算法获得的量化后的描述子,获得描述子特征值的分布特性,提出使用Huffman编码对特征进行紧凑表达。在京东数据集上的检索实验中,特征比特数由32000比特下降到2670比特时,mAP由51.07%下降到50.28%。