现有的残疾人辅助系统由主动控制、肌电信号控制以及语音信号控制组成,但对于高度残疾病人,肢体不全无法获取肌电信号进行控制,而语音信号则无法帮助残疾人实时跟踪定位目标物体。因此本文结合了计算机视觉与人机交互技术设计了基于双目视觉的跟踪定位控制算法,来帮助高度残疾患者实时高精度地控制辅助系统,同时还运用软件工程的方法来增加系统的可行性及实用性。双目跟踪定位系统由软件系统和硬件系统组成。软件系统又包括三个模块:图像处理及目标提取模块、角点提取及摄像机标定模块和三维重建及视线落点定位模块。在图像处理及目标提取模块中运用了数字图像处理中的图像去噪、图像切割以及边缘提取的方法,并提出了基于最小二乘法的椭圆拟合算法,获取了所需目标坐标点。在角点提取及摄像机标定模块中运用了自适应阈值及窗口不变性的角点提取原理,增加角点提取的准确性,并提出了运用投影反馈的神经网络摄像机标定算法,消除了摄像机带有的径向与切向畸变。在三维重建及视线落点定位模块中,运用了基于透视投影的光度立体学法重建眼球模型,运用空间点坐标,建立异面直线模型,计算得到视线落点位置。而硬件部分则由测试云台与穿戴式眼动定位系统组成。通过系统实现表明,图像处理及目标提取模块可得到精确的眼球中心及普尔钦斑中心坐标;角点提取及摄像机标定模块消除了摄像机标定时的径向与切向畸变,得到了图像坐标到空间坐标的映射关系;三维重建及视线落点定位模块精确的重建出眼球模型,并运用异面直线模型获取视线落点坐标,同时还增加了补偿机制,在0.5米至2米范围内的完全满足高度残疾患者日常生活需求。相比于传统的视线跟踪系统,双目跟踪系统具有更高精度,并且允许任何头动偏转,增加了系统舒适性;同时利用软件优化方法降低了程序的冗余性以保证系统实时性的需求;,因此双目跟踪定位系统是一种实时高精度的残疾人辅助控制系统。