近年来，随着我国计算机技术的迅猛发展，人们对计算机使用方便程度的要求越来越高，为了寻求一种更友好的人机交互手段，基于视觉的手势识别技术应运而生。基于视觉的手势识别技术是虚拟现实、计算机视觉、人工智能、图像处理以及模式识别等多方面学科的交叉融合，无论在技术上还是在理论上都是一种挑战。目前，我国对于手势识别技术的研究已取得了一定的进展，但对于手势识别技术的实际应用尚处于起步阶段。 基于手势识别的虚拟宠物系统是使用手势识别技术作为人机交互方式的典型实例。基于视觉的手势识别是一种直接的、自然的人机交互方式，是实现新一代人机交互方式的发展趋势和目标；虚拟宠物是信息时代的新兴产物，是虚拟现实技术不断深入发展的结果，无论对虚拟宠物还是手势识别的研究都是当今信息科学领域研究的热点。基于手势识别的虚拟宠物系统将二者有机结合，开辟了手势识别应用的新领域。 本文在广泛阅读国内外参考文献的基础上，对手势识别的相关知识进行了综述，针对虚拟宠物系统的特点，提出基于几何不变矩的手势识别算法。该算法通过对动态手势关键帧中不变矩的比较，有效地解决了动态手势的识别问题。在系统的开发过程中，首先以模块设计的思想为指导，设计了一个能够实时在线识别动态手势的虚拟宠物系统；然后利用Matlab进行实验，并在VC.NET开发环境下对系统进行集成，最后从识别速度和识别准确性两方面对算法进行了分析。