论文部分内容阅读
在多视环境下进行目标的3D重构和绘制是个挑战性难题,具有重要的学术研究价值与广阔的应用前景。多视目标重构的难点是多视数据量大、计算复杂、重构精度与完整度要求高；绘制则存在着真实感和显示实时性的难题。针对上述问题,本文开展基于3D参数的视频对象描述方法研究,利用多视目标重构得到目标的3D信息,通过硬件绘制电路实现目标的快速真实感显示。论文的主要工作和创新如下：1)为解决多视海量数据的存储和传输难题,提出基于3D参数的视频对象编解码方案。利用多视目标重构得到的3D参数表示视频内容既可以实现低码率编码又能在解码端全方位多角度显示视频对象。实验结果表明,在相同的低码率下与H.264相比,本又方法的PSNR最高可改善2dB,同时可以实现比H.264更低的码率。2)为了解决参数绘制的实时性问题,提出融合通用处理器和图形处理器的参数解码器的硬件架构设计方案。通用处理器负责参数的解码,图形处理器利用绘制方法将解压后的3D模型重新投影到原始拍摄视点下以还原原始视频对象。由于采用了通用处理器,因此可支持任意的参数编码方案。FPGA验证结果表明,设计的电路可以实现参数的正确解码和显示。3)为解决多视目标重构精度和完整度问题,提出无需包围盒的可见外壳构造算法和基于图切割的多日立体重构算法。前者可以在不知道目标包围盒大小的情况下快速获得目标的粗糙3D形状：后者将可见外壳构造和多目立体匹配相结合,通过图切割算法得到目标的精确3D形状。美国Middlebury学院的3D重构公共评测网站的评价结果表明,在准确性比较阈值和完整度比较阈值分别为90%和2.0mm的情况下,本文算法的完整度最高可以达到99.5%。4)针对目标的真实感绘制问题,利用马尔科夫随机场模型建立3D模型顶点和视点间的最佳对应关系,并考虑到相邻顶点间的影响,从而可以在恢复真实感表面颜色的同时抑制不同视图颜色差异带来的接缝现象。实验结果表明,与现有主流方法相比,本文方法的接缝抑制效果更有效,同时构造的纹理图像的存储空间可节省15%左右。