图像/视频超分辨率技术(Super-Resolution,SR)属于图像/视频复原技术的一种,将低分辨率(Low-Resolution,LR)图像/视频恢复成高分辨率(High-Resolution,HR)图像/视频,也可以看作是寻找LR图像/视频与HR图像/视频之间的非线性映射。目前超分辨率已经被成功地应用到医疗成像、视频监控和遥感成像等领域,研究图像和视频的超分辨率具有重要的意义。我们对基于深度学习的图像和视频的超分辨率算法进行了研究,主要研究成果如下:首先,提出了一种级联的多列卷积神经网络的图像超分辨率算法。该算法从LR图像中提取多尺度特征来重建对应的HR图像。为了减少了卷积的计算开销,算法直接将原始LR图像直接作为网络的输入,学习双三次插值后的LR图像与对应HR图像之间的残差图像。此外,为了达到更好的重建质量,我们使用平均绝对误差作为损失函数来优化网络。实验结果表明,我们提出的方法在重建质量和计算效率上优于以往很多算法。在此基础上,提出了一种基于局部二值模式(Local Binary Patterns,LBP)先验的多列卷积神经网络的图像超分辨率算法。利用LBP可描述图像局部纹理特征的优势增强重建图像的纹理信息。该算法用LR图像及其LBP特征图共同恢复出HR图像与双三次插值后LR图像之间残差图像以及HR图像的LBP特征图,最后将预测得到的残差图像与双三次插值图像相加得到HR图像。实验结果表明,所提出的算法相比于其它图像超分辨率算法可获得更高的重建质量。其次,提出了循环多列3D卷积网络的视频超分辨率算法(Video Super-Resolution,VSR)。该算法利用帧间相关性,使用已重建的HR帧联合LR帧来恢复后续的HR帧,为了减少计算冗余,每个LR帧只需要处理两次。此外,我们的网络还使用了多列3D卷积的结构,可以同时利用视频的多尺度空间和帧间信息,同时我们将每个3D卷积核划分为两个小尺寸3D卷积核的乘积,降低了计算复杂度。实验结果表明,所提出的算法相比于其它视频超分辨率算法可获得更高的重建质量。