三维显示技术逐渐成为很多电视显示系统与人机交互系统中的关键技术,被应用到很多具有广阔商业前景的产业中,如3DTV,3D游戏,虚拟现实,增强现实等。裸眼3D显示技术由于不需要操作者穿戴相关设备,观看视角可以自由切换等优势,成为研究的热点。然而,裸眼3D的内容生成需要同时提供很多不同视角下的画面,制作流程复杂且成本高昂。通过开发一套虚拟视点实时绘制系统,该系统可以基于双目相机提供的两个视点,低成本、高效地实时绘制出各个虚拟视点,实现裸眼3D内容的实时生成和显示。系统先通过立体匹配技术从校正后的双目图像中恢复出视差信息,为了兼顾算法的速度和精度,采用了半全局立体匹配技术进行视差信息的恢复。针对恢复的视差中出现的空洞和噪声,提出了基于一致性检验、滤波、视差绘制的组合视差优化方案,实现了空洞填补和噪声过滤,有效提高了估计的精度。基于立体匹配视差估计的结果,改进了基于深度的图像绘制技术(Depth Image Based Rendering,DIBR)实现虚拟视点绘制。首先将单参考视点扩展为双参考视点,减少了空洞的产生。其次设计了基于背景外插值和镜像的自适应图像修复方案,对二者的优势进行了综合。最后,针对DIBR算法中普遍存在的伪影问题,设计了深度梯度腐蚀算法,有效地减少了伪影问题带来的图像质量的下降。基于连续扫描的场景视频前后帧之间具有很大的内容关联性的特点,提出了背景表进行时空域背景信息的提取和存储,弥补了在图像绘制过程中参考信息不足的缺陷。在固定相机场景下,将图像绘制算法与背景表融合,包括背景表查询和图像补充,以及背景表数据更新。在运动相机场景下,增加了SLAM技术实时估计相机的位姿,根据估计结果进行背景表变换。背景表的引入,有效纠正了图像绘制产生的失真,实现了虚拟视点图像的准确绘制。针对基于双目相机的虚拟视点实时绘制系统的需要,搭建了系统的硬件平台,设计并实现了软件系统。系统由底层模块和上层交互模块组成,底层模块由立体匹配模块、图像绘制模块和SLAM模块并行运行,上层交互模块完成立体图像的合成与现实以及对系统的控制,利用GPU并行加速实现了实时处理速度。系统的整体性能和分系统性能均通过大量实验进行了测试,系统的改进方案也通过实验进行了验证。