论文部分内容阅读
目前,大量的视频监控系统被广泛地应用于人们的生产和生活中,然而受限于存储空间和传输带宽,监控图像通常以较低的分辨率进行存储,同时由于单个摄像头覆盖范围比较广,摄像头和嫌疑目标距离通常比较远,人脸和车牌等作为较小的目标,在监控图像中分辨率有限,为其实际应用带来一定的障碍。图像超分辨率重构方法是在不更改现有硬件设施的基础上,通过信号处理的方法,从单张或多张同场景下的低分辨率图像中重构高分辨率图像,是解决上述问题的有效方法。本文围绕监控图像超分辨率重构方法的应用需求,从离线、在线和噪声图像超分辨率重构方面展开了一系列基于稀疏理论的超分辨率重构方法研究,为解决监控图像超分辨率重构问题提供了新的方法和思路。论文的主要研究工作如下:
首先,针对现有图像先验设计形式单一,所含信息量较少的问题,提出了基于梯度稀疏表示的离线超分辨率重构方法。该方法充分利用了稀疏理论在特征重建方面的优势,运用KD树方法为每一个低分辨率特征搜索相似样本,并直接利用这些样本作为稀疏字典通过稀疏表示方式估算高分辨率梯度特征,然后将其作为先验约束条件嵌入到优化求解过程重构高分辨率图像块。该先验既不需要进行样本训练,满足了对放大倍数鲁棒性高的应用需求,又可以提取暗含在外部样本特征集中的隐含先验,弥补了传统先验信息不足的缺点,有效地利用了低分辨率图像本身的特定结构,使其更具针对性。进一步,针对稀疏系数和高分辨率图像求解问题,将高分辨率图像块看作一个优化变量,而不是单单通过稀疏系数和字典相乘重构高分辨率图像块,并通过迭代收缩算法求解稀疏系数和重构高分辨率图像块。在迭代过程中,可以在重构的高分辨率图像块质量逐渐提高的过程中及时更新系数,降低系数误差的影响。实验结果表明,同当前先进的同类方法相比,提出的方法具有更佳的重构效果。
其次,针对当前研究中假设高低分辨率特征空间共享稀疏系数,忽略高低分辨率稀疏系数间真实关系,重构效果依赖于较大的过完备字典而导致在求解稀疏系数问题上计算量较大,无法满足在线应用的问题,提出了基于稀疏系数多线性映射的在线超分辨率重构方法。针对高低分辨率特征空间稀疏系数之间关系的问题,提出了自适应正则化L2-Boosting算法,构建高低分辨率特征稀疏系数之间的映射函数。算法通过若干次迭代来估算真实系数与其估算值之间的残差,在每次估算中采用2范数约束的回归模型进行残差拟合,并可以自适应确定正则化参数。进一步,针对稀疏分解计算量问题,将高维图像特征进行PCA降维,并采用样本聚类方案,通过K均值聚类将训练样本分成若干类,在类内实现字典训练和映射函数构建,既减小了稀疏字典尺寸,有效降低了稀疏分解的计算量,又解决了很难用一个映射函数覆盖所有结构复杂而丰富的自然图像的问题。实验结果表明,同当前先进的同类方法相比,虽然提出的方法重构效果有所下降,但重构速度仅为其四分之一。
最后,针对目前多数超分辨率重构方法中忽略图像噪声,噪声图像超分辨率重构相关研究成果较少,而传统的去噪和超分辨率串联处理方式容易产生信息丢失和残留噪声放大的问题,分析讨论带噪低分辨率图像块和高分辨率图像块之间的关系,提出了基于双特征稀疏字典的噪声图像超分辨率重构方法,可以同时完成图像去噪和超分辨率重构。首先利用未受噪声干扰的高低分辨率样本对训练稀疏字典,然后通过相似原子加权平均的方式重构相应的图像块。针对相似原子中个别出现相似性不高的问题,提出了基于距离惩罚的优化模型求解权值,可以根据相似度不同而区别对待各原子,增强了模型对噪声的抵抗能力。在字典训练过程中,高低分辨率像素特征被级联到一个特征空间,使高分辨率字典具有双特征特性,联合应用IBP算法达到抑制噪声,增强噪声鲁棒性的目的。实验结果表明,提出的方法在实现过程中不需要根据噪声强度不同而重新训练字典,同传统的串联处理方式相比,在不同噪声强度下均可以有效地提高噪声图像的重构效果。
首先,针对现有图像先验设计形式单一,所含信息量较少的问题,提出了基于梯度稀疏表示的离线超分辨率重构方法。该方法充分利用了稀疏理论在特征重建方面的优势,运用KD树方法为每一个低分辨率特征搜索相似样本,并直接利用这些样本作为稀疏字典通过稀疏表示方式估算高分辨率梯度特征,然后将其作为先验约束条件嵌入到优化求解过程重构高分辨率图像块。该先验既不需要进行样本训练,满足了对放大倍数鲁棒性高的应用需求,又可以提取暗含在外部样本特征集中的隐含先验,弥补了传统先验信息不足的缺点,有效地利用了低分辨率图像本身的特定结构,使其更具针对性。进一步,针对稀疏系数和高分辨率图像求解问题,将高分辨率图像块看作一个优化变量,而不是单单通过稀疏系数和字典相乘重构高分辨率图像块,并通过迭代收缩算法求解稀疏系数和重构高分辨率图像块。在迭代过程中,可以在重构的高分辨率图像块质量逐渐提高的过程中及时更新系数,降低系数误差的影响。实验结果表明,同当前先进的同类方法相比,提出的方法具有更佳的重构效果。
其次,针对当前研究中假设高低分辨率特征空间共享稀疏系数,忽略高低分辨率稀疏系数间真实关系,重构效果依赖于较大的过完备字典而导致在求解稀疏系数问题上计算量较大,无法满足在线应用的问题,提出了基于稀疏系数多线性映射的在线超分辨率重构方法。针对高低分辨率特征空间稀疏系数之间关系的问题,提出了自适应正则化L2-Boosting算法,构建高低分辨率特征稀疏系数之间的映射函数。算法通过若干次迭代来估算真实系数与其估算值之间的残差,在每次估算中采用2范数约束的回归模型进行残差拟合,并可以自适应确定正则化参数。进一步,针对稀疏分解计算量问题,将高维图像特征进行PCA降维,并采用样本聚类方案,通过K均值聚类将训练样本分成若干类,在类内实现字典训练和映射函数构建,既减小了稀疏字典尺寸,有效降低了稀疏分解的计算量,又解决了很难用一个映射函数覆盖所有结构复杂而丰富的自然图像的问题。实验结果表明,同当前先进的同类方法相比,虽然提出的方法重构效果有所下降,但重构速度仅为其四分之一。
最后,针对目前多数超分辨率重构方法中忽略图像噪声,噪声图像超分辨率重构相关研究成果较少,而传统的去噪和超分辨率串联处理方式容易产生信息丢失和残留噪声放大的问题,分析讨论带噪低分辨率图像块和高分辨率图像块之间的关系,提出了基于双特征稀疏字典的噪声图像超分辨率重构方法,可以同时完成图像去噪和超分辨率重构。首先利用未受噪声干扰的高低分辨率样本对训练稀疏字典,然后通过相似原子加权平均的方式重构相应的图像块。针对相似原子中个别出现相似性不高的问题,提出了基于距离惩罚的优化模型求解权值,可以根据相似度不同而区别对待各原子,增强了模型对噪声的抵抗能力。在字典训练过程中,高低分辨率像素特征被级联到一个特征空间,使高分辨率字典具有双特征特性,联合应用IBP算法达到抑制噪声,增强噪声鲁棒性的目的。实验结果表明,提出的方法在实现过程中不需要根据噪声强度不同而重新训练字典,同传统的串联处理方式相比,在不同噪声强度下均可以有效地提高噪声图像的重构效果。