虚拟现实(VR)已经成为当今非常热门的方向,而且它对于人机交互方式和增加沉浸式体验有重大影响。在这些科技中,行为识别和全景图像显示是两个非常重要的研究内容。其中人机交互(HCI)的核心是可视化交互(VBI),键盘和鼠标作为机械输入设备,有时候是非常困难的对于三维或更高自由度信息的输入。手势因多样及直观的特点,具有很强的视觉效果所以可作为交互的手段。然而,完成手势识别任务之前,手形位置的检测是必须完成的。所以手形分割作为基础的工作和手势识别一样也被研究。另一方面,在虚拟现实技术中全景图像显示是一项具体的研究内容。目前,对于合成全景图像主要还是基于普通相机拍摄的一系列有重叠的图片依靠图像拼接算法来得到。因此我们的目标就是要实现高准确性的无缝拼接而且使得拼接图像看起来舒服。综上所述,本文研究重点集中在基于Kinect相机的全自动手形分割和手势识别任务以及基于局部单应性图像拼接算法。在前辈相关研究方法的基础上,一些解决办法和创新方法被提出。本文的主要工作如下:1.提出了自由交互的手形分割算法。使用Kinect深度相机完成手形分割方法中,基于用户输入半自动的方法被广泛研究。但是,它们的分割结果受到用户输入质量的高度影响。再者说,对于复杂的手形分割任务,用户正确的输入是很困难的,也是一项任务冗杂的工作。所以我们提出了在深度图像上利用尺度可变圆方法的种子点自动寻找手段,然后基于吉布斯能量场理论在彩色图像上围绕着种子点优化手形分割结果图。2.提出了基于SPFEMD距离度量的手势识别算法。手指传达了手势的有益信息,这里SPFEMD度量了手指和手势之间的相异性。SPFEMD是一个对扭曲、尺度变化等都具有鲁棒性的度量准则。我们用Kinect采集到的彩色和深度图完成自动手形分割后接着从分割的深度结果图中用形态学操作提取手指部分,然后一个距离的度量标准-超像素手指地球移动距离(SPFEMD)被提出来应用模板匹配的思想去测量手势之间的差异性。3.提出了基于匹配分布约束的图像拼接算法。它在整个目标图像上使用平滑的拼接区域,同时对所有的局部转换变化进行计算。对于特征匹配步骤,我们对提取的SIFT特征进行约束,以确保局部匹配区域的分布均匀性,而不受局部极值点的干扰,从而计算全局相似变换。最后在非重叠区域通过对比全局相似变换找到一个合适映射来调节这一区域。