多视目标重构的关键技术研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:nancyqi117
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多视目标重构是计算机视觉的研究热点与难点,在3D 视频、虚拟现实、数字城市、文物保护等领域具有广泛的应用前景。按照重构所需要的特征,多视目标重构算法主要分为可见外壳构造和多目立体重构。前者可以快速获得目标的粗糙3D 形状,但不能恢复目标表面凹陷区域的形状,当前存在的问题是构造算法需要预知目标包围盒的大小;后者可以得到目标的精确3D 形状,解决了可见外壳不能恢复凹陷区域形状的问题,但重构结果的完整度仍有待于进一步提高。当前多视目标重构方法都是针对3D 形状的获取,很少考虑目标表面颜色的恢复问题。MPEG4开创了基于对象的压缩编码技术,用轮廓、纹理等表示视频内容。   虽然MPEG4 也支持用3D 模型表示编码对象,但局限于特定目标的视频,需要事先为目标建立复杂的3D 模型。实际上某些特定场景的视频对象可以用多视目标重构方法获得的3D 模型进行表示和压缩编码。   针对上述问题,本文主要探讨多视目标重构中的两个关键技术,即3D 形状重构和表面颜色恢复;在此基础上探索多视目标重构技术在视频编码中的应用,设计了基于3D 参数的视频对象编解码方案。文章的主要工作和创新如下:   1)为探索新的低码率视频编码方法,提出基于3D 参数的视频对象编码方案。利用多视目标重构得到的3D 形状、摄像机参数、顶点颜色或纹理图像表示目标,经过压缩后进行传输。解码端从压缩码流中恢复3D 模型、摄像机参数、顶点颜色或纹理图像后,根据摄像机参数将经过顶点着色或纹理映射的3D 模型重新投影到原始拍摄视点下从而恢复原始视频对象。实验结果表明,在相同的低码率下,这种编码方法的PSNR 比H.264 提高了2dB;同时可以实现比H.264 更低的码率。   2)提出融合通用处理器和图形处理器的参数解码器的硬件架构设计,用于3D 参数视频编码器输出码流的解码。通用处理器负责参数的解码,图形处理器将解压后的3D 模型重新投影到原始拍摄视点下以还原原始视频对象。由于采用了通用处理器,因此可支持任意的参数编码方案。FPGA验证结果表明,设计的电路可以实现参数的正确解码和显示。   3)针对3D 形状重构,提出无需包围盒的可见外壳构造算法和基于图切割的多目立体重构算法。前者可以在不知道目标包围盒大小的情况下快速获得目标的粗糙3D 形状;后者将可见外壳构造和多目立体匹配相结合,通过图切割算法得到目标的精确3D 形状。美国Middlebury 学院的3D重构公共评测网站的评价结果表明,在准确性比较阈值和完整性比较阈值分别为90%和2.0mm的情况下,本文算法的完整度最高可以达到99.5%。   4)针对目标表面颜色恢复问题,利用马尔科夫随机场模型建立3D 模型顶点和视点间的最佳对应关系,并考虑到相邻顶点间的影响,从而可以在恢复真实感表面颜色的同时抑制不同视图颜色差异带来的接缝现象。实验结果表明,与现有主流方法相比,本文方法的接缝抑制效果更有效,同时构造的纹理图像更加节省存储空间。
其他文献
目的 比较SUS-MDCK、MDCK和SPF鸡胚3种方法对流感样病例(influenza-likeillness,ILI)标本中不同型别流感病毒的分离培养敏感性差异,初步评估SUS-MDCK在流感监测中的应用前景
本研究以两种优良牧草皇竹草(Pennisetum sinese Roxb.)和象草(Pennisetumpurpureum Schum.)为供试材料,比较了这两种牧草的生长、光合作用及营养价值,并利用皇竹草饲养草鱼(Ctenoph
学位
目的 了解河北省散发腹泻病例诺如病毒的分子特征.方法 收集2015年9月至2016年12月,河北省6市哨点医院散发腹泻病例粪便标本,用实时荧光反转录聚合酶链式反应(real-time reve
混沌是确定性的非线性系统所产生的对初始条件极其敏感的一种类随机运动。作为一门新兴的交叉学科,混沌因其特有的动力学特征被广泛应用到了诸如数学、生物、通信等工程中,并在
本研究以樟科三种润楠属植物,柳叶润楠(Machilus salicina)、浙江润楠(M.chekiangensis)和广东润楠(M.kwangtungensis)为材料,从种子贮藏、种子萌发及幼苗抗寒性方面开展相关研究,为润
超宽带(Ultra-Wide Band,UWB)无线通信技术是一种高数据率、低功耗的短距离无线通信技术,近年来成为国内外研究的热点之一。它可以实现最高480Mb/s,最低110Mb/s的数据率,是无线个人
学位
利用有源光纤可以构建激光器、光放大器、宽带光源等系统,在国民生产、军事国防等方面发挥着重要的作用,如我国的激光惯性约束核聚变装置就是以光纤激光器作为种子光源,以及
辅酶A作为一个必要的辅助因子,在细胞代谢中起着重要的作用,它作为酰基载体,介导生物体内各种生化反应。辅酶A合成的最后两个步骤是,4-磷酸泛酰巯基乙胺在腺苷酰转移酶(PPAT)的作