自2012年深度卷积神经网络在分类任务上的成功以来,计算机视觉领域便迎来了蓬勃的发展。但是,随着研究的深入,计算机在关于视觉单一模态的众多任务中均已超过人类认知的能力。考虑到未来人机交互,联合传统计算机视觉和自然语言的一系列基本挑战逐渐受到研究者们的关注。在计算机视觉三大任务之一的目标检测的基础下,基于语言描述的目标检测在2014年被提出。基于语言描述的目标检测旨在通过物体的自然语言描述在对应图像中定位出目标物体。在标准的基于语言描述的目标检测中,科研工作者们总是假设数据集中存在一个类别标签静态不变的目标物体的集合,其中训练数据中每个类别的样本数据是由一个对图像中目标物体的语言描述,一张图像和图像中目标物体的区域组成。本文研究了动态场景下基于语言描述的目标检测,其中数据的目标物体的类别是随时间增加的。在这种动态场景下,一方面模型需要保持参数的更新以适应新出现的数据类别。另一方面,模型需要记忆之前学过的数据类别去避免灾难性遗忘的发生。最后,本文提出了新的记忆机制,称作是双重模块化记忆机制,该机制启发自对数据中语言描述的观察。本文发现在该领域数据中语言描述,往往其不仅包含物体的类别和属性信息,其还包含物体的几何位置信息和物体与图像中其他物体的关系信息。而后两个信息是可以在不同类别的目标物体的定位过程中所迁移使用的。如本文方法的名字所示,本机制通过两个方面来帮助模型记忆之前学过的目标物体。其中,隐性记忆元件基于模型各个模块（物体视觉模块,物体位置模块和物体关系模块）对检测目标物体所作的帮助来衡量各个模块参数的重要程度去决定哪些参数值得记忆。而显性记忆元件则筛选了一些在之前学过的样本中具有较高损失和其所用知识很难在多个类别间迁移使用的样本数据。同时该元件维持了一个固定大小的缓冲池去存储这些样本去在后续模型训练中反复利用。相比于标准的增量学习,本文提出的方法更适应于基于语言描述的目标检测。因为该方法显性考虑了语言和图像的双模态结构。后续在本文为此任务构建的三个数据集上的详尽实验验证了本文提出方法的有效性。