在数据量与日俱增的大数据时代,移动互联网技术得到了飞速的发展并促进了智能终端的普及。当下人们记录信息方式不仅仅局限于文本内容,更多地采用图像、视频等方式记录生活中的方方面面。这使得多媒体信息量在数据总量中占据了很大的比重,人们对图像、视频等视觉内容的信息检索需求日益增长,例如在电商购物、影视搜索等领域。现如今庞大的图像与视频数据总量给检索带来了巨大的挑战。如何快速、准确地从图像与视频数据中检索出人们想要的信息成为了当前的研究难点和热点。为满足人们对于视觉信息检索的需求,基于哈希的检索方法凭借着低内存消耗和快搜索速度的优势成为了当前热门的检索技术。但现有基于哈希的图像与视频检索方法仍存在模型泛化能力不足、哈希码间有信息冗余、量化误差较大、解决不同模态之间的语义鸿沟不足等问题。针对上述问题,本文重点研究以图搜图、以图搜视频两个任务场景,并开展相关研究工作。针对以图搜图的任务场景,本文提出了一种基于非线性深度哈希的图像检索算法。在该算法中,为解决现有工作中模型对复杂图像内容拟合能力弱、泛化能力不足的问题,提出了一种基于LSTM的非线性映射方法,利用LSTM的非线性拟合能力提升模型鲁棒性。考虑到哈希码间的信息冗余和网络融合问题,提出了一种滑动窗口机制,通过片段化特征信息提升模型对局部信息的关注能力。针对量化误差问题,提出了一种基于policy gradient的量化误差控制方法,采用奖惩机制对误差所带来的影响进行奖惩。最后,利用真实数据集进行实验测试,实验结果表明,所提的图像检索算法与相关算法对比,提升了检索精度,验证了所提算法在MAP指标下具有更好的性能。针对以图搜视频的任务场景,本文提出了一种基于非线性跨模态哈希的视频检索算法。在该算法中,为解决图像数据与视频数据间模态差异带来的语义鸿沟问题,提出了一种基于跨模态哈希的语义鸿沟消除方法,将图像与视频信息映射到同一语义空间下。考虑到哈希码对视频信息表征能力不足及视频特征与哈希码关联性差的问题,提出了一种基于深度学习的端到端学习方法,使视频特征提取与哈希码生成融为一体。针对现有模型泛化能力不足的问题,提出了一种基于LSTM的非线性映射的方法,利用LSTM的非线性拟合和记忆能力,更好地保留视频信息。最后,利用真实数据集进行实验测试,实验结果表明,所提的视频检索算法与相关算法对比,提升了检索精度,验证了所提算法在MAP指标下具有更好的性能。