考虑到物理实现和成本问题,大部分数码相机仅使用一个传感器来获取彩色图像。传感器表面覆盖一层颜色滤波阵列(CFA),光线经过颜色滤波阵列仅接收红、绿、蓝三基色中的一种颜色分量。要得到完整的彩色图像,需要估计缺失的两种颜色分量,这个过程叫做去马赛克,也叫图像插值。去马赛克是物体检测、图像识别等后续处理的前提,所以研究有效的去马赛克算法,对于后续的图像处理具有重要的实用价值。本文在现有插值算法的基础上,提出基于残余插值的卷积神经网络去马赛克算法。本文所做工作如下:(1)插值绿色通道时,把图像边缘划分为更多类别,除了包括传统的水平和垂直方向的边缘外,还包括四种倾斜方向的边缘。如果水平和垂直方向均无边缘,则转而判断倾斜方向是否存在边缘,倾斜方向的边缘检测算子由绿色通道的梯度和红蓝通道的二阶导数构成,充分发掘了每个通道的信息,边缘分类细化后的插值方向判断更为精确。(2)提出倾斜方向的插值公式。在对边缘进行了更细致的划分后,插值按照检测到的边缘方向进行,传统的水平和垂直方向已经有了很成熟的插值公式,本文重点研究斜方向的插值公式。如果边缘方向已经确定,根据通道相关性原则,可以提出合理假设,即沿着边缘方向的颜色差是稳定的,由此推导出基于通道相关性的倾斜方向插值公式,在倾斜方向插值准确。(3)在绿色平面插值完成后,得到的初步去马赛克结果分辨率不够高,基于此观察,本文利用卷积神经网络,以初步去马赛克结果作为卷积神经网络的输入,以真实的全彩色图像作为网络的标签,对网络进行训练,学习初步去马赛克结果和原始图像之间的映射关系,实现分辨率的提升。(4)提出基于颜色饱和度混合色差平面的后处理步骤。本文实验证明图像颜色饱和度越高,通道之间的相关性越弱,色差平面也越不稳定。因此,本文提出一种根据颜色饱和度和几何距离混合色差平面的方法,在高频区域,恢复出的图像视觉效果更佳。