Kinect数据修复方法研究及其在立体视频中的应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:feng_lingpeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
远程视频的出现极大地方便了现代人们之间的相互沟通,而立体视觉技术的发展使得视频交流的效果有了很大的上升空间。在Kinect的革命性发明之后,深度获取就不那么昂贵了,由 Kinect的数据构建立体模型,进而实现立体视频会议系统是一种切实可行的方法。但是对于计算机视觉应用来说,由 Kinect捕获的深度数据需要额外的处理来填补丢失的部分,进一步讲,使用 Kinect数据重建三维模型过程中,由于视角的变换,彩色数据的缺失也需要在最终显示前进行修补。本文首先研究了 Kinect构建立体数据的方法;然后针对立体数据中各种原因的缺失进行修复,分别用结构导向的框架修复了深度数据以及用快速行进的方法修复了彩色数据;最后设计了一套立体视频会议系统,并将修复算法应用其中,同时研究了多种加速策略来提高立体视频的播放帧率。  在进行深度数据的修复时,因为没有足够的信息来对场景结构做出准确的推断,针对彩色图像的传统修复方法并不能直接应用于深度图像。本文提出了一种新的结构导向的修复方法来提高深度图像的修复质量。这种修复策略结合了传统方法和最近发展起来的非局部滤波方案。在待参考点的选取上,提出了一种在8个方向上有间距的选取方法,可以很好的体现待修补点周围的彩色信息和深度特征。距离、深度、颜色三种参考信息之间良好的平衡保证了修复效果。实验结果上,无论是主观视觉的评价,还是客观定量的误差评估,都证实了该修复框架的有效性。  立体视觉的一个典型应用就是立体视频会议系统,本文在对立体数据进行修复之后,设计并实现了一个利用左右分屏3D电视以及 Kinect设备进行三维远程视频会议的系统。系统中首先需要解决的是设计稳定高效的设备驱动模块,它要在不同的平台上以相同的格式向上层模块提供稳定的数据流,OpenNI具备这样的特性。为了让后台的修复算法与前端的界面显示都能流畅的运行,多线程是不可缺少的,本文采用了固定大小的循环缓冲区来实现各个模块的各个线程之间的数据共享,实际的运行效果证明这个高速缓冲区模块可以很好的平衡多线程并发编程中常见的线程安全性问题和运行效率问题。为了提高视频会议系统的流畅度,需要采取多种方法对计算过程进行加速,本文用到了CPU多线程对修复算法进行加速以及使用GPU中CUDA自定义核函数对模型重建与视图转换进行加速的方法。实验证明,这两种加速方法能够显著提高深度数据修补的速度与立体视频显示的帧率。
其他文献
随着多媒体技术、流媒体技术和微电子技术的飞速发展,视频图像、声音和网络技术日益融合,各种智能终端设备不断涌现,已经深刻地影响了我们的生活。智能终端是指具有多媒体、
图像在人类生活中扮演着重要的角色,但由于各种因素的影响,导致图像的质量不佳,通常会被噪声污染,影响视觉效果,图像降噪正是基于解决这种问题而发展的,目的是既能有效地去除
随着Internet的迅猛发展,网络处理器的接口速率已经达到了2.5Gbps到10Gbps。这一速率要求网络处理器能快速地进行地址查找,所以说网络处理器中搜索引擎已经成为实现包快速转
目的:了解贵阳地区几所医院病原性真菌的常见种类与分布及其分子流行病学,为临床真菌感染的诊断和治疗提供参考依据。  方法:采集贵阳市几所医院感染患者的呼吸道标本、阴道分
森林土壤有机质在减缓全球大气CO2浓度升高和稳定气候系统方面起着至关重要的作用。越来越多的证据表明,植物根际过程能够显著影响土壤有机质分解和养分(尤其是N)循环。根际激发
智能建筑是本世纪建筑发展的趋势。在这种新型建筑中,除新材料、新能源的应用外,建筑设备的智能化是必不可少的。建筑设备智能化是智能建筑的基础。在各种智能建筑系统中,不
当前的红外搜索与跟踪系统中存在的主要问题包括:大规模数据处理量与系统要求实时处理的矛盾;虚警率上升时系统处理时间成指数趋势上升,容易引起系统拥塞的问题;低信杂比下如
毛白杨(Populus tomentosa Carr)生长速度快、无性繁殖容易、适应性广,是工业用材及防护林建设的重要造林树种,广泛分布在我国自北向南的大多数省份。随着土壤盐渍化和荒漠化
PHS,俗称“小灵通”,因其单向收费、话费低廉、良好的移动性及非常适合数据传输等特点而发展迅速。但由于PHS所使用的1.9GHz微波频段的穿透能力比较差,加之基站功率比较小,所以室
光纤光栅是近几年发展最为迅速的光纤无源器件之一,对特定波长的光具有反射或者透射作用。其峰值波长随着温度、应力等物理量的变化而变化,通过设计敏感结构进行非光学物理量