使用投影仪将虚拟场景投影到真实鱼缸的后壁,可以构建一个融合虚拟海洋世界和真实鱼缸环境的混合现实（Mixed Reality,MR）鱼缸,研究表明,其有助于吸引孤独症谱系障碍（Autistic Spectrum Disorder,ASD）儿童的注意力,ASD儿童在此系统中可以比较好的集中注意力,与海洋世界和游动的虚拟海洋生物交互,进行认知课程的学习。其中,可以通过使海洋生物模仿并跟随真实鱼类运动以增强沉浸感、交互感,从而设计更多的有趣的课程内容,达到更好的虚实融合的效果。这需要实时准确地跟踪和计算真实鱼的三维游动轨迹和姿态。但是目前已有的追踪鱼类轨迹的方法大都不适用于鱼缸环境。与海洋和湖泊等水下环境相比,鱼缸中的反射和折射增加了跟踪真实鱼的难度。一些工作只保留了鱼在水箱中心体积中游动的视频序列,忽略了鱼在水箱侧壁中游动的反射情况。有的工作则在鱼缸周围粘贴了白纸,以避免反射。另外,据我们所知,目前还没有关于三维空间中鱼的方位计算的研究,尽管有少量介绍使用一个摄像机计算二维俯视图中的运动方向的工作。为此,本文提出了一种实时跟踪鱼缸中单个鱼的位置和姿态的方法:在鱼缸的顶部和侧面分别放置两个摄像机,获取鱼的视频图像;在考虑反射的情况下,计算两个视图中鱼的位置,用椭圆拟合的方法计算鱼在两视图中的旋转角度;然后结合两个视图的信息,并考虑水的折射,实时计算出鱼的位置和方位。实验结果表明,该方法具有较好的精度、鲁棒性和实时性。本文方法在基于MR鱼缸的ASD儿童学习系统中得到了应用和验证。本文的主要工作和贡献概括如下:1.提出了一种结合双正交视图信息来实时计算鱼的三维位置的方法。该方法通过在鱼缸顶部和侧面放置摄像头来实时拍摄鱼的运动。首先结合背景减法和追踪算法获得鱼在两个视图中的二维轮廓,再判断倒影情况并分情况进行处理。如果鱼身和倒影分离,根据位置关系直接筛选出真实轮廓;如果鱼身和倒影粘连,则需要对轮廓位置进行偏移修正,从而获得真实轮廓的质心位置。最后考虑水折射的影响,使用光线追踪的方法实时计算出鱼的三维位置。实验结果表明,与Muller等人提出的方法相比,本文所提的方法在速度、准确率和成功率都更高。以1000帧图像作为测试样本,本文提出方法的平均帧速率为65.78fps,准确率为85.2%（精确度设置为5像素）和成功率为84.3%（重合率设置为0.8）。2.提出了一种关联双视图信息来实时计算鱼的三维方位的方法。我们根据鱼的形态使用椭圆来拟合鱼的身体。在顶视图中我们根据鱼身质心的位置来判断鱼头的方向,将椭圆的短轴与水平线之间的角度作为顶视图下鱼身的旋转角度,并且利用两个正交视图的关联性计算侧视图中鱼身的旋转角度,最终利用空间线性映射关系实时计算出鱼的三维方位。实验结果表明,以1000帧图像作为测试样本,本文提出方法的准确率为70.2%（计算值与标注值相差角度在0-10°内）。3.研发了一个面向MR鱼缸的幼儿教育系统,使用真鱼的三维位置以及三维方位实时驱动虚拟的海底生物跟随真实鱼运动,使虚拟世界中的虚拟海洋生物可以和现实世界中运动的鱼产生互动,实现了有趣的课程内容,构建更为生动的混合现实系统。首先我们将获得的三维数据进行平滑处理,然后建立数据通信,将数据传输到Unity引擎中。再将Unity世界坐标系以及真实世界坐标系进行统一,最后将处理后的真实鱼的三维位置与三维方位数据赋给虚拟场景中的虚拟海底生物,使其跟随真实鱼游动。