论文部分内容阅读
近年来,虚拟现实技术已成为计算机应用领域的研究热点之一。它利用计算机多媒体技术在计算机系统中仿真真实世界的环境,通过计算机的相关设备来模拟人体的视觉、听觉等真实感知,使参与者在其中产生与在真实环境中相同或相似的体验。根据人类的生理特点,在各种感知中视觉感知占80%,视觉的模拟即虚拟场景的生成占有十分重要的地位,是虚拟现实中核心问题。 虚拟场景的生成技术通常可以分为两类:基于图形的几何绘制技术(GBR)和基于图像的绘制(IBR)技术。与GBR技术相比,IBR技术由于其获取方便、计算量小、绘制速度快、真实感强等许多优势,从而成为计算机图形学领域的一个新的研究热点。IBR技术中全景图技术最为热门,目前国内外都在积极研究全景图的相关技术。全景图是采集某一视点处的场景图像,通过一系列的全景图技术对这些图像进行处理,建立在该视点处的场景模型,模拟用户处于真实场景某一位置向四周观察的视觉效果。 通常获取全景图需要高档昂贵的硬件设备支持,这制约了全景图技术的广泛应用,使用普通数码相机的全景图技术已成为目前的研究热点。这种方法只需用户手持普通数码相机,在现实环境中某一视点位置,拍摄一些相互有重叠的图像,全景图的绘制可由计算机自动完成。但是由于手持相机采集图像,尤其是采用自动对焦和曝光,会造成相邻图像之间的视角变化、旋转、缩放、曝光差异、模糊等情形,这影响着全景图的绘制以及全景图的质量,从而提高了对全景图技术的要求,如何快速、准确地生成高质量的全景图成为研究的重点和难点。 本文研究基于普通数码相机的全景图绘制技术,对全景图绘制中的关键技术进行了深入的研究,提出了新的方法和算法。在此基础上,提出了基于LPP-SIFT的全景图绘制方法。本文所做的研究工作和创新如下: (1)全景图关键技术的研究 在采集图像的过程中,场景中可能出现光照变化、物体运动,相机本身存在着平移、旋转、倾斜等多种运动方式。这些因素都加大了全景图绘制的难度。为了获得高质量的全景图,本文以鲁棒的SIFT特征为基础,对特征的提取和描述、特征匹配、图像配准、图像融合等全景图关键技术进行深入研究。 ①本文以SIFT特征为基础,提出LPP-SIFT特征描述算法。 由于在SIFT特征提取过程中,浮点运算量大、提取速度慢,但又存在许多数据块的独立计算,所以利用GPU实现并行计算,将SIFT特征提取的速度提高近20倍。SIFT特征描述子是高维数据,存在存储空间需求大、影响后期的特征匹配速度的不足。LPP-SIFT算法则利用LPP流形学习的思想,将SIFT特征描述子线性降维,得到LPP-SIFT特征描述子,它保持特征描述子之间几何结构不变。算法中分配适当的权重给描述子,增强描述子之间的可区分性。LPP-SIFT算法既节省描述子的存储空间,又提高了特征匹配精度和速度。 ②SIFT描述子用梯度方向直方图描述特征点,通常采用欧氏距离作为SIFT描述子相似性的度量,但这种度量方式是假定两个直方图的Bin必须是一一对应的,而且未考虑相邻Bin之间的相关性,较容易出现特征匹配的误判。本文提出FEMD匹配算法,该算法把直方图的比较转化成EMD度量,考虑了相邻Bin之间的相关,并将Bin间的基础距离阈值化,把流网络按阈值距离进行简化,通过求解最小费用流得到特征向量(直方图)之间的度量,从而实现特征之间的鲁棒匹配。 ③提出基于FRRLM与BFS的无序图像配准和分组方法。 FRRLM算法在三个方面改进了RANSAC算法:选择质量好的样本点和模型参数预检验来提高RANSAC计算效率;使用奇异值分解法SVD求解模型参数,避免矩阵奇异导致最小二乘解的不稳定性;用互映射的距离差平方和作为误差评价函数,增强模型参数的稳定性和可靠性。用浮点数计算坐标,提高模型参数的精度。在LM算法的迭代中对参数加以约束,加速迭代收敛,以适应图像变换矩阵的参数优化,提高了矩阵求精的效率。根据FRRLM算法保留的内点数量,构造图像匹配邻接图。两次采用BFS广度优先搜索法搜索邻接图,获取以基准图像为初始拼接图像的分组。这种方法具有实现简单、分组准确的特点。 ④提出基于CTBSL的融合算法。 首先,该算法在lαβ色彩空间中,利用图像的均值、标准差等统计信息,对图像的重叠区域进行色彩传递,实现有曝光差异的亮度自动调节。然后采用亮度差异和梯度差异的加权合成作为重叠区域图像相似性的评价准则,亮度差异和梯度差异的权值由重叠区域曝光校正的系数启发式调节,该算法找出的最佳缝合线能更好地达到消除鬼影现象的目的。 (2)提出基于LPP-SIFT的全景图绘制方法 本文将以上全景图关键技术的研究成果运用于全景图的绘制,提出基于LPP-SIFT的全景图绘制方法。首先应用GPU加速的方法提取SIFT特征,再用LPP-SIFT描述子保留特征点几何结构的同时实现线性降维。采用FEMD算法实现特征点的鲁棒匹配,通过FRRLM算法剔除外点,对变换矩阵参数求精。对于任意的输入图像,用基于BFS方法实现图像自动分组,根据需要用色彩传递的方法再将分组后的图像进行亮度校正。把同一组中的图像都投影到统一的坐标系中,再对相邻图像的重叠区域寻找最佳缝合线,最后使用梯度域融合法对每一组图像进行融合。该方法能较好地根据输入图像序列实现平面全景图、柱面全景图和球面全景图绘制。