在建设“平安城市”和“智慧城市”大背景下,摄像头的安装数量急剧增长,视频数据量也急剧增加。如何在海量视频中对行人目标从多个维度进行精确的结构化描述,并对特定行人进行搜索,进一步给出该目标的身份信息,这些都是很重要的研究内容且具有很高的实用价值。视频混合搜索系统正是为达到上述目的而提出。系统在各种精度高、速度快的检测、识别算法的基础上,结合新的策略,实现对行人目标的搜索、识别和跟踪。整个系统的运行流程简要如下:对视频解码获取视频帧序列,对获取的视频帧进行行人检测和人脸检测,对检测得到的人脸快照进行遮挡和侧脸过滤,对过滤后的人脸和行人快照进行关联匹配,然后对获取的快照对进行特征提取,最后将得到的视频中有关行人信息的结构化数据存数据库。在事先给定的搜索条件下,搜索程序在数据库中搜索出与给定目标最相似的行人目标,并给出身份等相关信息。最后实现的系统采用了异步多进程并行架构设计,模块间相互独立工作,稳定性好。经过测试,系统中提出的低质量人脸过滤策略和快照关联策略实际效果较好,达到预期目的。在视频或实时监控场景下,利用人脸或行人外形图像,系统可以准确搜索到相似行人目标,并通过人脸识别出行人的身份信息,视频处理速度也达到实时效果。