在多视角视频跟踪系统中，通过信息交互和系统协作，视角得以利用其他视角的信息对自身的跟踪结果进行优化和纠正，由此得到优于单视角系统的性能。但优势的前提是已知视角之间的几何关系，用以在不同视角的坐标系内映射跟踪位置。因此，几何关系的使用是信息交互算法重要的组成部分，而几何关系的求解在系统部署中也是关键的限制因素。单应关系是多视角系统中常用的一种几何映射关系，对于在地平面上运动的物体可以在视角之间建立一一对应的投影关系。在现存的系统部署方法中，单应关系通常由手工选取控制点或者在目标运动平面上放置标记作为控制点求解。本文的最终目标是将对目标的跟踪和对单应关系的估计融合，避免预先标定过程，同时进一步优化现存的多视角信息融合框架，使其根据单应关系的投影误差和视角本身的信息关联程度自适应的调整视角的比重。为完成这一目标，主要完成了三个部分的工作：单应关系估计的扰动分析；从跟踪结果中筛选控制点的方法；以及自适应的多视角信息融合框架。单应关系的扰动分析是对投影误差的定量分析。在单应关系的估计过程中，若使用的控制点存在观测误差，则估计得到的投影矩阵存在估计误差，进而导致投影误差。本文中给出了从控制点观测误差到投影误差的定量关系，一方面得以估计投影误差的大小加入自适应框架内，一方面以投影误差为最优化对象得到控制点的筛选条件。从跟踪结果中筛选控制点是跟踪中对单应关系进行估计需要解决的主要问题。本文从扰动分析的结果出发，对控制点位置和精度的影响进行了进一步分析，给出了筛选控制点的渐进式方法和筛选条件。即合理的控制了运算量又保证了筛选结果的性能。自适应多视角融合框架以高斯混合模型为基础，将各视角的跟踪精度、视角之间的信息耦合程度和投影误差的大小加入权重的运算。一方面提高了信息融合的自适应性能，另一方面得以将对单应关系的自行估计和现存的贝叶斯多视角跟踪算法结合在一起。