论文部分内容阅读
利用光学图像重建三维几何目标是计算机视觉的核心问题,随着相关硬件的不断发展和计算能力的大幅度提升,相应的光学成像测量技术已经被广泛地应用到工业测量领域。以工程应用中对光学测量和曲面重建的需求为背景,基于多目视觉和三维重建的框架,针对图像处理和特征提取、光滑曲面三维重建、人体曲面重建这三个方面内容进行相关研究,提高重构的精度和效率。主要工作内容如下:1.为了解决复杂环境下成像质量较差,提高图像特征分析和图像配准的准确性和精度等问题,主要针对模糊图像和带雨图像的重构问题进行了研究,提出了基于图像特征稀疏表示和图像显著性结构分析的图像模糊核估计方法,进而对图像进行去噪和去模糊,有效地增强了图像中具有边缘结构特征的清晰度,提高了特征提取精度。另一方面,为了适应大目标物体在室外进行光学测量的需要,减少图像中环境、天气等因素对特征提取产生的影响,研究了基于深度学习的方法,对雨天拍摄的图像实现了去雨算法。最后,考虑到被测物体表面可能没有显著的纹理特征,设计了一系列具有稀疏性质的特征标记,并结合应用以上算法,提高了两幅图像对应区域特征的匹配精度。2.在基于网格表示的双目视觉光滑曲面三维重建方面,提出了一种基于网格约束变形和全局像素级配准的曲面重建方法。相比于样条表示,网格曲面不受到形状的限制,具有很好的灵活性。首先,利用优质规则的平面网格模板,基于Laplacian的曲面变形方法,以少量特征点为约束,在最小二乘意义下对目标曲面进行拟合,得到初始的网格曲面。其次将不同视角的图像看成是网格曲面的纹理的投影,利用不同图像和三维网格之间的透视变换关系,优化所有网格点邻域在两幅图像上的局部纹理特征匹配,修正三维网格点在图像上投影点的纹理坐标,从而在双调和能量极小的约束下进行变形,更新光滑曲面。实验中,通过上述过程的反复迭代,得到了更加精确的网格曲面重建结果。3.在基于NURBS表示的曲面三维重建方法研究中,考虑到尽可能地减少对双目重建中两个视角图像的特征匹配数量的要求,研究了基于样条曲面表示,并利用图像特征驱动样条曲面进行基于弹性变形的高精度三维重建方法。同时,考虑到重建的三维样条曲面和两幅图像中的二维样条曲面之间都是透视变换的关系,采用了非均匀有理B样条(NURBS)进行表示,充分利用了 NURBS表示所具有的射影不变性,从而保证了三维重建结果的正确性。4.使用参数化的自编码孪生网络,直接从稀疏的点云数据分别编码SMPL模型的形状和姿势参数,从而实现人体外表面的三维曲面重建。因为生成的网格是可变形的参数化表示,同时得到了人体的形状和姿势参数,极大促进了多种学术和工业应用,如三维人体姿态检索、形状检索以及三维人体动作迁移等。