群体行为是指由两个或者更多个相互影响、相互作用、相互依赖的个体组成的集合体的相对运动现象,广泛的存在于鸟类、鱼类等群居自然生物群落,广场、车站等人类活动场所,以及细胞、微生物等微观世界。随着我国经济社会的发展和科技的进步,对群体行为的分析和理解已经成为社会科学和自然科学领域的重要课题,在安防监控、智慧城市建设、显微生物学和药理学等诸多领域都具有广泛的应用。相对个体行为的分析理解而言,大型群体由于目标数量多以及目标之间的相互遮挡,具有更为复杂的相对运动关系以及难以预测的事态演化规律,因而具有更大的挑战性。本文综合利用了计算机视觉和机器学习当中诸多研究成果,针对宏观社会群体和微观细胞群体的行为分析的问题进行了前瞻性研究,提出了基于多Agent协同的群体建模技术,并研究和建立了面向群体行为分析的底层特征提取,Agent分割和属性识别,和群体行为高层语义理解的理论框架。本文主要的创新工作归纳如下：首先,针对宏观大尺度社会群体中由于目标之间的遮挡和相对运动等带来的目标检测和跟踪困难的问题,本文提出基于时空变化流体场的群体底层特征提取算法。通过信号时空域特征分析,本文构造了一个时空变化矩阵对信号在时间域和空间域的变化进行度量,进一步利用矩阵特征在分析的方法得到信号在时空域当中的主要的波动分量,构成了一个时空流体场用以刻画群体运动的模式。同传统的基于目标检测的群体建模方法相比,本文提出的方法直接从信号的本征特性出发,更适合于大尺度、遮挡严重、运动关系复杂的群体行为建模。其次,针对相称显微图像对比度低、乏纹理的特点,本文通过对显微镜的成像机理进行分析,利用相称显微镜的衍射特性构造成像字典,进而利用稀疏表示的方法提取细胞相位特征用以实现后续的分析。同传统的灰度、纹理等特征相比,本文提取的细胞的显微相差特征可以有效的去除显微镜成像中光晕、阴影等带来的影响,将不同性质的细胞从背景当中区分开来。另一方面,细胞的相位特征同细胞的光学特性密切相关,能够反映细胞本质生化特性,为后续的细胞跟踪、细胞分类和细胞分裂凋亡等事件检测奠定基础。接下来,针对群体建模中粒度选择的困难,本文提出了基于时空一致性约束的多Agent群体建模方法。为了降低信号在时空域上的冗余性并提高计算效率,本文将具有相同或者相似底层视觉特征的相邻像素聚类为一个Agent。这样,每个Agent内的像素特征描述在时间上连续、空间上相关,同时有具有内在的逻辑一致性。这些Agent一方面具有独立的行为属性,又共同作用,构成了群体的整体特性。从而,一个运动的群体可以建模成多个Agent构成的集合。进而,为了实现Agent的属性识别,本文在主动学习和半监督学习的框架下,提出了基于交互范式的的Agent属性识别算法。针对传统半监督学习当中的标定基元选取的问题,本文提出了基于最小预测误差的主动标记算法,选取样本集合当中信息量最大的样本,可以在最少的人工标定下获得更好的预测精度。其次,针对分类器当中可能存在的分类错误,本文丰富了传统的基于图理论的半监督学习的理论框架,提出了基于修正传播的误差修正算法。同传统的标记传播图相比,本文的方法可以综合地根据分类的结果和人工修正逐步调整自身的结构,改善自身的性能,具有“渐智”性,本文中将其命名为渐智图(smarter graph)。最后,本文综合的利用了之前的研究成果,构建了大型群体行为分析系统,实现群体行为的识别和理解。首先,针对遮挡不严重的宏观社会群体或微观细胞群体,本文采用多目标跟踪的方法,得到了每个Agent的运动轨迹,并根据轨迹统计特性,实现群体中目标的分裂、运动异常等行为的检测。继而,针对遮挡比较严重的群体,本文采用了主题模型(topic model),建立了Agent运动属性和高层的群体行为的语义映射关系,实现了宏观群体奔跑、聚集、散开等复杂行为的识别和理解。综上,本文面向宏观的社会群体和微观的生物细胞群体行为分析中的具体问题分别从特征提取、群体建模和行为识别理解等不同的方面进行了全面的研究,综合利用了计算机视觉、机器学习和流体力学当中诸多的研究成果,提出了基于多Agent协同的群体建模技术,并研究和建立了面向大型群体行为分析的理论框架。