由于其在行为分析、动作识别以及复杂场景理解中的广泛应用,围绕人体姿态的相关研究是近几年计算机视觉研究的热点。其研究对象也从图像中的单人姿态,推进到视频中的多人姿态,而本论文研究的是视频中多人姿态跟踪问题。现有的方案主要可以分为自底向上的图分割方案以及自顶向下的先检测后跟踪方案:虽然自底向上的算法可以获得大致可以接受的结果,然而其超高的计算复杂度导致无法实现在线跟踪;而现有的自顶向下方案,由于人体姿态检测阶段都是基于单帧进行的,因此并不能充分挖掘视频时序信息的价值,而且其跟踪算法是一种局部求解,导致最终得到的关节点轨迹并不是全局最优解。针对这两点不足,我们提出了一种使用动态规划来进行人体关节点轨迹构建的方法,同时也提出了一种对轨迹进行在线融合去冗的后处理策略,这两者的有机结合,可以保证人体关节点跟踪“既准又快”。为了更好地分析理解视觉资料中的人,只估计出来人体骨架是远远不够的,除了肉体外形之外,人还有衣着纹理和毛发细节。因此在本文中,我们还探讨了如何从单一视角图像中推测人体的三维几何,以及利用单一视角图像合成其他新视角纹理。然而由于人体是非刚体——不同的身材、姿态、发型、衣着都会导致人体几何外形的变化,这使得人体三维几何估计要比普通刚体困难很多,而从单张照片合成其他任意视角图像的难度也因此水涨船高。之前的方法,有的是从单一视角图像中沿着像素流直接复制旧像素到新视角,但这种方法对于单视角中不可见的区域完全无能为力。也有的方法从颜色图像出发端到端地训图像生成器,但由于缺乏几何信息,这种方法生成的纹理通常看起来非常模糊缺乏立体感。为了解决这个问题,我们将两种方法合二为一,提出一种两阶段的新视图合成流水线:首先使用人体参数化模型来拟合原始单视图中的人像,并根据人像轮廓还原人体几何细节,然后我们设计了一种支持多输入通道的对抗生成网络,这个网络可以很好地修补纹理不完整的新视图,从而合成更加具有真实感且细节丰富的新视角图像。