基于插值和多帧重建的图像超分辨分析

来源 :商 | 被引量 : 0次 | 上传用户:fox007138
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:基于插值的超分辨重建方法是单幅低分辨率图像利用相邻像素间的相关性来重建一幅高分辨图像。基于多帧多帧重建的超分辨重建方法是利用多幅图像间的信息互补来获得比单幅图像重建更多的细节,它按照特定的退化模型,通过输入的多幅低分辨图像估计高分辨图像。本文主要实现了典型的三种基于插值的超分辨率重建以及基于多帧重建的迭代后向投影法的超分辨重建算法,并对这两类方法的性能进行了比较分析。
  关键词:低分辨率;插值;多帧重建;高分辨率
  图像超分辨率指利用通过算法去改进低分辨率图像,得到高分辨率图像的过程 [1]。低分辨率图像在应用中,细节往往被忽略了,难以提供图像细节,这些被忽视的细节在应用中却又关键作用,所以获得高分辨率的图像显得重要。要获得高分辨率图像最直接的方式就是采用高分辨率图像传感器,由于受到制造工艺和成本的限制,对于要满足需要而大规模的部署高分辨率图像传感器是很不现实的。因此,现有的设备的条件下,通过超分辨率技术获取HR 图像越具有现实意义。
  1.超分辨重建算法原理
  图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。单帧图像处理实际上就是指通过重建算法对低分辨率图像提高图像分辨率,也就是所称的图像放大方法。
  多帧重建方法是假定超分辨率图像在适当的变形、平移和子采样及噪声干扰下,利用多帧 LR 图像作为数据一致性约束,并结合图像先验知识(通常是平滑性等)进行求解。配准和重建是多帧重建方法的关键。配准是获得其它LR 图像与参考LR 图像之间的亚像素精度的相对运动;重建是利用先验知识,对目标图像进行优化求解[4]。
  1.1 基于插值的超分辨重建方法
  常见的插值有三种方法:最近邻插值法、双线性插值法、双三次插值法。在图像超分辨率重建方法中,插值起到了关键的作用,也是图像放大方法的常见方法。对比三种常见插值方法中,双三次插值方法的优点是效果最好,相比其他两种方法的不足之处就是复杂度大。
  (1)最近邻插值
  最邻近插值法又称零阶插值,在获取每一个待插值点的像素值时,是依据原图像中对应点的四个相邻点,选取这四个点中欧氏距离最短的哪一个,其插值公式如下:
  f(i+u,j+v)=f(i,j)(1)
  其中,i,j 均为非负整数;f(i,j)表示原图像在(i,j)位置像素点的像素值; u、v 均为(0,1)区间的浮点数,表示待插值点与最邻近像素点在水平和竖直方向的距离。最邻近插值法的优点是运算量小;但是也存在着不足的地方:会产生块效应导致获得的图像变得模糊,所以放大效果有待提高。
  (2)双线性插值
  双线性插值又称一阶插值,其原理是待插值点像素值取在原图像中与其相邻的 4 个点像素值在 2 个方向上的线性内插,即通过权值来确定待插值点像素值,权值的大小是由采样点与4个邻点的距离来确定。优点是运算量不高,相比最邻近插值方法,放大效果更好。所以在实际应用中,对图像质量要求不高具有重要的应用价值。
  (3)双三次插值
  双三次插值又称立方卷积插值。算法要比前两者更加复杂。该算法要对周围16个点的灰度值做三次插值运算,除了四个直接相邻点外,还考虑到各邻点间灰度值变化率对待采样点的影响。因为要实现三次运算,所以运算量急剧增加,但是放大效果要更加接近高分辨率图像 [5]。这种算法需要选取插值基函数来拟合数据,其数学表达式为:
  1.2 基于多帧重建的方法
  (1)观测模型
  要从低分辨图像中重建高分辨率图像,首先我们应了解图像降质的原因,即分析图像的退化模型,我们也称之为观测模型[2]。在成像系统中,观察模型能够精确地对图像退化的原因进行说明(即精确的描述重建的高分辨率图像与观察到的低分辨率图像之间的关系)这个过程有利于我们对图像的解空间进行约束,因而对这方面的研究就显得十分重要了[3]。超分辨率重建问题被认为是一个大的稀疏线性优化问题,在实际运算中我们通常采用几何变换、卷积、采样的步骤对其进行描述,在理论分析中一般采用如下矩阵一向量的数学描述:
  其中Wk=DkHkFk,Yk表示第K幅低分辨率图像;Dk,Hk,Fk分别表示第K幅低分辨率图像对应的欠采样因子、模糊函数和几何变换;X表示未知的高分辨率图像;Z表示噪声(如高斯噪声和椒盐噪声)。低分辨率图像间需含类似但不完全相同的信息是重建出高分辨率图像的必要条件,这些不完全相同的信息可来源于许多方面,如相机的抖动,变焦等因素[4]。
  (2)迭代后向投影法
  迭代后向反投影方法是先预估计出一幅高分辨率图像(通常是对低分辨率图像进行双三次插值得到)作为图像重建初值,并将此高分辨率图像初值代入到观测模型。经过一系列的仿射变换、运动模糊、降采样和加噪等处理后得到相应的低分辨率估计图像[6]。然后,计算出估计得到的低分辨率图像与实际观测的低分辨率图像之间的差值(称为模拟误差),并将此误差反投影,估计出更新后的高分辨率图像。多次迭代后,该方法能够改善高分辨率图像的质量[6]。但是,由于估计的高分辨率图像不唯一,使得最终的重建结果也不惟一。另外,在该方法中引入先验约束也较难实现。
  2.结论
  (1)基于插值的算法简单,在实际中倘若对图像质量要求不高的情况下,应用很广泛,可以满足一定的超分辨技术的要求。最近邻插值算法最简单,但块效应较明显。双线性插值优于最近邻插值,放大效果有明显改善,且算法复杂度仅是少量的提高。双三次插值是三种插值方法中最好的方法,但运算量大于前两种插值方法。
  (2)基于多帧重建的图像超分辨率算法在改善图像质量方面明显优于插值的方法,但复杂度也远大于插值的方法。基于多帧重建的超分辨算法是目前图像超分辨率重建技术中的首选方法,也是目前该领域取得较多研究成果的方法。
  (3)本文的图像超分辨分析只是针对无噪图像的放大实现超分辨的研究,在现实应用中需考虑如何有效的去噪,以及多帧图像序列的配准问题。(作者单位:西华师范大学)
  参考文献:
  [1] 乔建苹. 超分辨率重建与图像增强技术研究.山东大学, 博士学位论文.2008,41-47.
  [2] 王会鹏、周利莉、张杰.一种基于区域的双三次图像插值算法.计算机工程.2010.10,36(19)
  [3] 蔡念、张海员、张楠.基于Contourlet的改进双线性插值图像超分辨率算法.传感器技术学报.2011,24(1)
  [4] 王伯阳、韩晓薇、张文奇.图像超分辨率算法比较研究.沈阳大学学报.2011.2,23(1)
  [5] Vladan Velisavljevic, Baltasar Beferull-Lozano, Martin Vetterli, and Pier Luigi Dragotti. Directionlets: Anisotropic Multidirectional Representation With Separable Filtering. IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 15, NO. 7, JULY 2006
  [6] 唐丽焕、陈辉、吕小倩、孔凡慧.基于迭代条件模型算法的图像超分辨率重建. 计算机工程与应用.2010,46(12)
其他文献
高中语文是学生学习语文课程的重要阶段,而高中语文不仅仅考察了学生的基础语文能力,同样也对学生的综合语文能力提出了更高的要求,尤其是高中生即将面临高考升学压力,所以如
综述了循证护理产生的历史背景和循证护理引入护理教学的必要性及循证护理在护理教学中的应用现状,指出护理教育要想适应循证护理的发展,必须加强院校投资,进行专业教师培训,
摘 要:本文基于属性因素,构建了网络消费者手机品牌选择的二元LOGIT模型,鉴别出影响消费者手机品牌选择行为的属性因素,最后给出相应营销建议。  关键词:品牌选择;品牌属性;二元LOGIT模型  近年来,价格战的做法使各手机厂商跌入了低利润的陷阱,品牌和质量成为消费者购买手机所考虑的首要因素。因此,研究品牌属性对消费者手机品牌选择行为的影响具有重要理论与现实意义。本文基于属性因素,构建了网络消费者
提高小学生的阅读能力是小学阶段很重要的一个环节,也是对小学语文老师的综合能力提出更高的要求.在语文教学过程中,学生的阅读能力直接影响着学生语文成绩的好坏,所以提高小
高一新课程教学,它是一次从教育理念到教学实践的全面改革与创新,也是一次充满智慧的挑战.经过教学实践,感到既有成功与喜悦又有许多问题与困惑.
物理是高中基础学科的重要组成部分,学习物理知识不仅有助于提高我们学生的逻辑思维能力,还能培养我们对科学的热爱,帮助学生在未来的发展中更好的适应社会科技.高中阶段对物
本文从“互动教学”理论的发展入手,剖析传统化学教学中存在轻视“互动”的弊端,在对高中化学课程标准中所倡导的教育理念进行深入理解的情况下,结合建构主义学习理论,阐述了
摘要:校园文化是一种多功能的文化形态,是一所学校的办学理念,充分反映出一所学校的总体精神面貌,本质而言是一种育人的气候和氛围。在校园文化中积极融入中华传统美德是在继承中发展。因此,学校教育中应把中华传统美德教育作为学校教育的重点,从而推进校园文化建设。  关键词:社团活动;提升;文化力  中图分类号:G632.0 文献标识码:A 文章编号:1992-7711(2017)11-0032  在课改深入
由于应试教育的长久影响,认知因素已经牢固在人们的教学意识中,因此对情感因素的忽略已经成为较为严重的现象.它对学生情感的发展以及学生所受到的教学质量都有不同程度的影
在新的教学理念下,教学过程是师生双方有目的、有计划地以教材为中介,通过教和学来共同完成预定任务的统一活动过程.教学方式的转变越来越倾向于以学生发展为本的理念.在教学