图像的超分辨率重建是指从一幅或多幅低分辨率图像中重建出高分辨率图像的过程。基于联合字典学习的彩图和深度图的超分辨率重建技术打破了低成本成像设备的限制和复杂环境的影响,在增强现实、三维重建和人机交互等多个技术领域拥有广泛的应用前景,成为现今图像处理和计算机视觉领域最活跃的研究课题之一。本文对现有的超分辨率重建算法进行研究,创新性地提出了一种灰度-深度的联合字典学习方法,在此方法的基础上,提出了两种图像的超分辨率重建方法。具体的研究内容与创新成果如下:(1)本文提出一种基于灰度-深度联合字典学习的深度图像的超分辨率重建(JSR)方法。该方法首先训练联合字典;然后利用联合编码增量,降低编码噪声;再利用图像的自相似性和多尺度相似性,估计高分辨率联合图像块的稀疏编码系数;最后使用Bregman线性迭代算法求解超分辨率重建模型,重建高分辨率的深度图。其中,联合字典学习的过程是:首先利用图像的多尺度相似性和结构对应关系,构造灰度-深度的联合特征图像块;然后通过K均值方法把联合特征图像块聚成若干类;最后利用主成分分析法为每类联合图像块训练一个简洁的子字典。实验结果表明,该算法能够保持良好的图像边缘信息,有效提高图像的重建质量。在客观评价指标和主观视觉效果上,该算法与现有算法相比有显著提高。(2)本文提出一种基于改进邻域嵌入和梯度直方图保留正则项的彩图和深度图的联合超分辨率重建(CD-JSR)方法。该方法在JSR方法的基础上,首先引入非局部均值正则项改进邻域嵌入方法,提高高频初始估计的准确度;然后利用低分辨率图像的多尺度结构相似性和梯度直方图构造正则约束项,最后使用迭代阈值方法求解模型,同时重建高分辨率的彩图和深度图。实验结果表明,该算法较好地抑制了振铃效应和边缘弥散现象,保持了良好的纹理和边缘信息,同时重建出更接近于原始图像的彩图和深度图。