人机交互一直是计算机领域的研究热点,寻求更加自然、灵活的交互方式是人们不断追求的目标。近年来,多点触摸技术吸引了众多的科研开发人员与消费者,而近期的众多产品更是说明：多点触控技术正逐渐取代PC占据人们的日常生活。而在人机交互中混合现实技术突破了传统展示技术在时间和空间上的限制,让观众通过多种不同的互动方式来获取新颖有趣、深入全面的互动体验。因此混合现实的多点触摸人机交互平台将具有更大的市场空间与用户群体。在多点触控领域,基于光学感应原理的多点触控系统设计是目前研究比较活跃的分支,并出现了几个成熟的技术并在产品中得以应用。多点触控平台虽然极大的简化了用户的操控流程,但是纯虚拟的交互平台因为缺乏真实的物理触感也为用户带来了一定的困扰。相比下传统的操作控件如键盘、鼠标,拥有良好的物理触感,无需观看也可以进行流畅的操作。因此本论文提出混合现实的人机交互软硬件平台。研究并设计了一套全新的识别算法与人机交互软件平台,不但能够对手指触摸进行反馈而且可以识别本课题特制的混合现实多点触摸物理控件MTW (Multi-Touch Widget)也可以进行良好的交互。最后以此为基础研发了基于三种不同光学触摸技术的完整的具有混合现实特点的多点触摸人机交互平台。本文主要研究工作如下：1)多点触摸技术中IRS (Improved Recognition System)识别算法的设计多点触摸技术中的识别算法是整个平台的基础,只有稳定可靠的识别算法,才能为人机交互软件提供准确的手指、手势与混合现实多点触控物体控件的信息数据。在本章节中详细阐述IRS识别算法的设计,其中包括多点触摸图像识别算法设计与目标监测算法设计。并阐述了混合现实多点触控物体控件MTW (Multi-Touch Widget)的设计方案与IRS针对MTW的识别方法。最终实现IRS不但可以识别手指信息,还可以对真实物体控件MTW进行识别与触控定义。2)基于IRS识别算法的UMOT混合现实人机交互软件平台的研究与设计现阶段国内外并没有一个非常完善的基于多人的大尺寸的支持混合现实的人机交互软件平台。本文基于IRS识别算法提供的手指与MTW触摸信息,研究并设计了UMOT混合现实多点触摸人机交互软件平台。本章节详细阐述了UMOT人机交互平台针对多人多点触控,MTW触控的全新交互方式与功能,及其软件平台架构设计、引擎架构设计。3)混合现实人机交互硬件平台的研究与设计一个稳定高性能的人机交互硬件平台是IRS识别算法与UMOT人机交互软件平台用来部署并发挥功能的重要硬件支持。本文着重研究三种不同光学多点触摸技术,并针对性的进行人机交互硬件平台的研究与设计。三种光学多点触摸技术分别为激光平面多点触摸技术、光学多点触摸框技术与FTIR多点触摸技术,这三种技术具有易于部署、稳定可靠、物体识别等特殊优势。该人机交互平台能提供良好的多用户人机交互体验,并具有良好的产学研价值和广阔的发展前景。4)总结在文章的最后,综合讨论了本系统的实际功能与运行测试情况,提出了未来对此的改进与完善之处。进行了深刻的总结与展望。