随着虚拟现实与多媒体技术的快速发展,人机交互与立体视频能够模拟出真实、流畅、自然的景物在人眼中呈现出来,很大程度上满足了人们在浏览视频时的实时逼真的视觉需求。近年来KINECT等深度摄像头取得了显著的成果,促进了人机交互与立体视频的迅猛发展,并使其在教育、娱乐、医疗、体育等领域得到了广泛的应用。立体、流畅、真实的3D视频效果目前已成为二十一世纪多媒体领域的目标。人机交互技术是计算机科学研究的核心问题之一。人手作为操作计算机的最灵活与最自然的身体部件,一直以来都在人机交互中发挥着极其重要的作用。深度摄像头在很大程度上解决了传统彩色图像中由背景、光照、颜色等因素对人机交互的干扰。在基于深度图的人机交互中,挥手姿势是一种最好的启动人机交互的方式,而连续地跟踪人手才能使后续的交互顺利的进行。目前自由视点视频(FVV)技术中,新视点内容的生成是关键技术之一。通过对目前已经发表有关虚拟视点绘制技术的算法分析,我们主要研究的是DIBR方法。它是一种使用隐形需求结构几何信息的IBR技术。相对于其他技术,DIBR技术是虚拟视点绘制的一个独立发展方向。该技术的核心理念是,引入深度信息来计算图像中的像素点在虚拟视点图像中的准确位置。DIBR的优势体现在两个方面：一个是它很好的提供了向后的兼容性。简单说,就是可以应用到2D的视频中。另外一个好处是深度信息比纹理信息视频具有更好的编码效果。可以节约传输过程中,需要的带宽。深度信息的精确获取对虚拟现实技术中的人机交互与立体视频的研究带来了新的挑战和机遇。所以进行基于深度图的挥手检测与人手跟踪以及虚拟视点绘制是具有重要研究意义的课题。本文分析了基于传统彩色和深度图像的检测与跟踪的核心技术及存在问题,并针对基于深度信息的人机交互启动阶段中的挥手检测、人手跟踪技术以及基于低秩矩阵填充的虚拟视点绘制技术展开了研究,提出了基于形状先验和运动先验的区域增长人手检测模型、基于邻域深度距离度量的人手跟踪模型,联合深度与背景低秩特性的图像空洞修复机制,提高了基于深度图的人机交互中的挥手检测的应用距离,提高了基于深度图下人手与躯干等物体融合情况下人手跟踪的鲁棒性,增强了彩色图像空洞填充的主观效果,同时提升PSNR等客观质量。本文的主要贡献如下：(1)基于深度图人机交互启动中的挥手检测KINECT深度图在距离大于170厘米的情况下会出现手部轮廓模糊无法获取人手区域的情况,导致人手检测失败。本文引入人手形状似长条型的先验知识,提出了基于形状先验和挥手运动先验的区域增长人手检测模型,成功定位人手启动人机交互,不受用户与摄像头距离变化的影响。(2)基于深度图的人手跟踪技术现有的比对算法在人手与躯干短暂融合时会出现人手质心预测失误,导致人手跟踪失败的问题。本文提出基于邻域深度距离度量的人手跟踪模型,通过比较以预测点为圆心,分割半径1.5R内的像素组成的样本深度值的方差来判断是否出现融合的情况,如果方差满足事先设定融合阈值,表明人手与躯干融合,则重新定位人手质心,进而继续跟踪人手。(3)基于低秩矩阵填充的空洞修复技术在基于Kinect的人机交互应用中,立体显示能够提供更具沉浸感的视觉感受,从而增强人在虚拟环境中的真实感。本文在基于Kinect的应用中引入了DIBR(Depth Image-based Rendering)技术,提供自由视点的立体视频显示,并基于现有的虚拟视点绘制技术提出了基于低秩矩阵填充。主流的空洞修复技术基于样本的Inpainting算法,由于合成内容纹理种类多样、光线变化剧烈,基于样本的Inpainting算法并不能较好地描述空洞区域的内容,导致图像纹理及光线复杂时合成结果中存在严重的人工效应。为解决这一问题,本章研究了基于低秩矩阵填充的空洞修复技术。利用空洞区域的生成原理可知,空洞区域多为被遮挡的背景区域,具有低秩的特性。基于空洞与临近区域具有空域连续性的假设,利用低秩矩阵填充算法约束空洞区域的最优相似块搜索,通过增强修复内容与邻近内容的空域一致性得到更优的填充效果。