人脸、人体光流估计,旨在计算人脸、人体视频中相邻两帧图片之间每个像素点的二维运动,其在人脸识别、姿势识别、虚拟人等领域具有重大应用价值。然而由于缺乏真实场景下大规模的人脸、人体光流数据集,监督学习方法很难泛化到真实场景数据上。同时,由于人脸、人体缺少丰富的便于区分的纹理,并且其运动包含复杂的非刚性变形,现有的无监督学习方法也很难达到令人满意的效果。基于以上分析,针对人脸光流估计,我们提出一种鲁棒的自监督学习框架。具体来说,我们使用三维非刚性注册辅助二维光流估计,以此引入深度和人脸结构先验。进一步,我们利用人脸语义等先验来约束光流估计结果。通过一系列实验验证,相对于现有的无监督学习方法,本文提出的基于可微非刚性形变的自监督人脸光流估计算法给光流估计的精度带来了一定的提升,尤其表现在包含大幅度运动的数据上。与人脸运动不同,人体运动包含大量的拓扑变化情况,例如手掌从贴紧躯干运动至离开躯干、双腿并拢至分开等。对于这类数据,变形图的约束使得传统基于变形图的非刚性注册在拓扑变化区域产生过于平滑的变形,从而给光流网络错误的引导。因此,我们提出了一种具有拓扑感知的非刚性注册方法。具体来说,我们设计了一个拓扑感知网络,自适应学习非刚性注册过程中的相关权重,用于感知拓扑。进一步,我们提出基于拓扑感知可微非刚性形变的自监督人体光流估计算法,即使用具有拓扑感知的非刚性注册来辅助二维人体光流估计。大量实验证明,针对于含有拓扑变化的数据,本文提出的自监督人体光流估计算法能估计出高精度的光流。