随着网络普及,新疆地区越来越多用户开始从互联网中获取信息。由于区域特殊性,网络中信息传播与获取使用户更加便捷的获取信息,但许多负面效应也随之而来,面向新疆地区的敏感不实信息以及涉疆、涉暴信息的传播迅速形成社会舆论,产生巨大的舆论压力。所以,采用有效措施及时对这些敏感信息进行管控以及处理迫在眉睫。这些敏感信息载体大多以文本、图像、视频等载体在网络中进行传播,传统检测方法多基于单一模态,无法处理网络中这些多源异构的数据。跨模态检索的引入有助于网络中多模态数据的处理与跨模态匹配,从而对敏感信息进行更加全面精确地检索标注,非常具有研究的意义与价值。总体来说,本文的研究主要工作如下:（1）提出了融合注意力机制的跨模态关联分析模型。该模型通过双向GRU网络学习文本特征的表示,再利用VGGNet-LSTM网络学习图像特征的表示,有利于文本与图像特征深层次细粒度表达,并采用注意力机制建立文本与图像之间的非对称链接,提供了与图像同步的强大文本表示形式,减小了图像文本之间的语义鸿沟。（2）提出了基于改进双编码的跨模态语义匹配模型。该模型通过联合使用多级编码,网络可以显式地逐步学习在视频和文本中表示全局、局部和时间特征。在与公共空间学习正交的同时,整个模型以端到端的方式进行训练,缓解了文本与视频之间的语义异构性。（3）设计并实现基于跨模态的敏感信息检索子系统。该系统对本文提出的模型在工程上的有效性与实用性进行了验证,包含了敏感信息标注、敏感信息检索以及敏感信息库建立三大功能。有效帮助工作人员对敏感信息进行实时管控与处理,满足了项目要求。