本论文的工作围绕国家“ 863”计划项目——“基于虚拟现实技术的装配帮助系统”的设计和研究展开。建立了Windows环境下的多模综合实验平台，实现了一个基于视点的物体识别、定位以及装配帮助的虚拟现实系统。该系统利用计算机视觉的方法，对装配生产过程中的零件进行目标识别和特征点三维位置的重构，同时提供基于虚拟现实技术的装配帮助信息VR显示，支持双摄像头立体图像实时同步输入和有限词汇理解的用户语音交互（包括识别与合成），并建立了多模式多代理的人机交互接口。 该系统具有较好的实时人机交互效果，立体视频、语音交互等多模式输入输出方式的采用，使人机交互更加自然和富有效率。同时系统采用基于原语的多模式定制和集中式多代理结构，解决了各种设备装置的合作和多模式的协作问题，使多模式的信息便于管理和保持一致性，方便子系统的增减或集成，使系统易于扩充和定制，并且容易移植到其它的虚拟现实系统。 同时，实现装配帮助的一个重要环节就是双眼摄像机的标定问题，它关系到整个系统的准确性和速度。论文中重点研究和阐述了“基于虚拟现实技术的装配帮助系统”中双眼摄像机的标定技术。算法考虑到摄像机模型中的一阶径向畸变，巧妙地利用成像过程中的径向约束（RAC）分解摄像机参数，同时通过合理地组织参数的求解次序，使得经由求解线性方程组就可以得到全部的摄像机参数，从而改变了以往摄像机RAC标定方法依赖于非线性优化，以及对光照条件要求严格和标定测定距离短的情况，使得RAC方法较以往的算法更为精确、快速、简便，并且更加具有推广价值。 该系统研究的成果，对于本领域的研究起到了开拓性作用。对于实时人机交互效果的实现，多模输入—输出系统实验平台，基于视点的帮助装配虚拟实现系统，基于3D物体不同姿态和照明条件的图像来识别物体达到实时、准确和实用的效果等领域的研究都起到了推动作用。