超分辨率(Super Resolution,SR)图像重建技术旨在通过软件方法提高图像或视频品质以期满足人们对图像观察的视觉感受和信息辨别,它被广泛应用于高清视频、医学图像分析、遥感探测、目标识别、视频监控等广阔的数字图像处理领域,具有广阔的市场应用前景和科学研究价值。由于超分辨率图像重建是一个复杂的过程,它要受到观察环境、噪声、观察角度和运动等众多因素影响,使得重建结果存在不确定性,所以该研究仍然面临着诸多挑战和难题,也是图像处理领域的研究热点之一。本文介绍了图像重建、超小波变换、分形几何和重建图像质量评价等相关基础理论知识,从方向判定的角度深入、系统地研究了超分辨率图像重建问题,并就硬件实现环节作了初步探索。意在通过探讨信号处理与计算机新技术在图像运动方向判定和图像纹理结构方向判定中的应用来不断提高超分辨率算法重建图像或视频序列的清晰度和流畅感,从而为人们提供更佳的观看感受和更多的图像信息。为此,针对传统超分辨率图像重建技术所面临的难题和实际应用需求设计了新的重建算法并探索了其硬件实现,本文研究内容包括:(1)基于Bandelet变换和分形几何改进的运动方向判定准则及其时间超分辨率图像重建;(2)基于单/双向相融合改进的运动方向判定策略的时间超分辨率图像重建;(3)单帧空间超分辨率图像重建;(4)多帧空间超分辨率图像重建;(5)超分辨率图像重建算法硬件实现架构。本文主要成果归纳如下:(1)针对时间超分辨率图像重建中,因所用块匹配运动方向判定准则和判定策略而导致的运动估计误差、空洞与重叠、遮挡与暴露以及局部最优解等问题,提出了一些新的解决方案。一方面,利用Bandelet变换对图像几何流方向表达的优越性能和分形几何对图像维数描述的尺度不变特性来表示图像块的纹理结构特征,借鉴绝对误差和(Sum of Absolute Difference,SAD)的计算思想提出了两种基于双差值组合代价函数的运动方向判定准则并将其应用于时间超分辨图像重建。在该运动方向判定准则的代价函数中,既保留了图像块像素灰度值绝对误差和项,又增加了图像块几何流方向值/分形维数值绝对误差和项,提高了运动估计结果的准确性和鲁棒性。另一方面,提出了全局整体单向判定与局部双向快速判定相融合的运动方向判定策略并将其应用于时间超分辨图像重建。该运动方向判定策略实现了单向判定运动估计和双向判定运动估计的优势互补,特别是巧妙设计出一种遮挡掩模与暴露掩模产生方法,用以标记出待重建内插帧的暴露区域和遮挡区域,有效消除重建图像因运动方向双向判定策略而产生的遮挡与暴露现象。实验结果表明,采用所提出的运动方向判定准则和判定策略后,时间超分辨率算法重建图像的主观质量评价指标和客观质量评价指标都有明显改善,同时有效地消除了重建图像中不良的双阴影效应。最后,基于FPGA强大的运算能力和对二次开发的高效支持,探索了所提时间超分辨率图像重建算法的硬件实现问题。在该硬件架构中,借鉴工业生产流水作业思想将复杂算法进行了多级子算法分割并采用逐步启动、并列执行处理,大大缩短了超分辨率图像的重建周期;另外设计一种基于数据流水装载的RAM分布结构,降低硬件平台对DDR的带宽需求。系统上屏测试表明,该硬件架构有助于实现复杂时间超分辨率图像重建算法的实际应用。当然,本文设计的RAM数据流水装载子算法并列执行的架构也可用于复杂空间超分辨率图像重建算法的硬件实现。(2)边缘锯齿效应和轮廓模糊问题是单帧空间超分辨图像重建研究中的关键难题,特别是对纹理结构复杂的图像该类问题尤为突出,因而借助于Bandelet变换和小波全变分手段,提出了一种基于图像几何流方向判定的单帧空间超分辨率图像重建算法。为了改善对图像边缘和纹理的保护,首先利用Bandelet变换进行图像Bandelet块的几何流方向判定,然后借鉴第二代Bandelet变换思想实现沿几何流方向对二维图像的一维信号插值处理,初步重建空间超分辨率图像;为了消除可能存在的Bandelet块效应,在小波变换域对重建图像继续进行全变分处理。最终有效保护了重建图像的边缘,改善了单帧超分辨率图像重建算法性能。(3)多帧空间超分辨图像重建受观察视角变化情况、观察图像数量、边缘和噪声高频信息不易区分等因素影响,致使图像重建结果存在不确定性,为此采用Contourlet变换和人工神经网络相结合的途径,提出了一种基于学习和图像方向表示的多帧盲空间超分辨率图像重建算法。该方法首先利用传统的单帧空间超分辨率方法重建出一幅空间高分辨率初始图像,然后通过人工神经网络产生空间高分辨率图像估计残差的Contourlet带通方向子带,接着对这些带通方向子带和低分辨率图像估计残差序列进行Contourlet逆变换,得到空间高分辨率图像估计残差序列,最后基于这些空间高分辨率图像估计残差序列采用提出的自适应加权系数向量对初始空间高分辨率重建图像进行补偿得到最终的空间高分辨率图像。所提空间超分辨率图像重建算法本身不需要考虑图像匹准、图像噪声问题,而且充分利用Contourlet变换的多方向和各向异性特性实现对图像边缘的有效保护。实验结果表明本文提出的多帧空间超分辨率重建算法具有良好的图像重建效果。