在大规模移动视觉搜索中,视觉描述子的紧凑性是影响检索效率的重要因素。Fisher Vector(FV)描述子是一种区分性非常强的聚合描述子,在视觉搜索应用中检索效果出色。然而对于移动或嵌入式设备有限的计算资源来说,图像全局描述子的紧凑性显得尤为重要,而FV描述子的维度太高,限制了其在移动或嵌入式设备上的应用。哈希是解决图像全局描述子紧凑性描述的有效手段之一,然而哈希在量化到低维度的二值码有较大的精度损失。而且通过哈希对FV进行二值编码,整个二值特征的生成过程包括了两个独立的阶段:FV描述子学习和哈希编码学习,因而最终生成的二值码并非全局最优结果。虽然近年来国内外也有不少学者开始关注端到端的深度神经网络模型,试图使用深度哈希方法将图像映射为二值码,但是得到的低维二值码区分性有限,很难在大规模视觉搜索任务中取得较好的检索结果。针对上述问题,本文提出了一种端到端的深度紧凑视觉描述子生成模型,模型主要由Fisher网络模块和二值编码网络模块组成,生成的紧凑描述子能适应大规模视觉搜索任务。其中,Fisher网络模块通过对FV聚合编码公式重构得到,可以嵌入到其它神经网络中使用反向传播算法进行训练;二值编码网络则用于对Fisher网络生成的聚合描述子进行二值编码。通过对这两个网络模块端到端的训练,可以使整个学习过程达到近似总体最优。模型的输入为图像的局部不变特征描述子,输出为中低维的紧凑视觉描述子。这种神经网络模型能充分利用和保持图像的语义信息,使得最终生成的紧凑视觉描述子不仅能保持图像的语义信息,同时尽可能的降低描述子的维度。实验结果表明,本文提出的端到端的深度紧凑视觉描述子生成模型取得了比传统两阶段(FV描述子学习和哈希编码学习)的紧凑描述子生成方法更好的检索效果。