论文部分内容阅读
雨雪天作为常见的恶劣天气,不仅会降低所采集图像的质量,还会严重影响计算机视觉算法的可靠性。因此,对图像除雨和除雪的研究在计算机视觉领域有着重要的应用价值。但由于其本身存在的不适定性,图像的除雨雪一直是一个具有挑战性的问题,并在近些年引起了学术界广泛的关注。本文以港口码头集装箱自动化装卸过程中的图像作为研究对象,使用基于生成式对抗网络的算法,围绕单幅图像的去雨和去雪任务开展研究,并取得了较好的实验效果。本文的主要工作内容如下:
(1)在条件生成式对抗网络(Conditional Generative Adversarial Networks)的基础上,针对生成图像细节纹理质量不高,图像过于平滑的问题,对网络的损失函数进行了改进,将激活层之前的特征图作为感知损失函数计算的依据,以此提高网络生成图像的质量。该改进的特点在于能够获取更多的图像信息,改善图像在通过较深网络,特别是在经过激活层之后出现的特征图像稀疏问题。本文将所提出方法与基于卷积网络、基于先验信息方法、基于稀疏编码的方法进行对比实验,并比较了试验结果,充分证明了本文提出的基于CGAN网络算法的可行性和有效性。
(2)在注意力生成式对抗网络(Attentive Generative Adversarial Networks)的基础上,针对网络在训练中容易出现的模型坍塌问题,本文对算法中的判别器进行了改进,在其中加入了谱归一化(Spectral Normalization)的操作,并使用两个尺度更新规则(TTUR),避免使用谱归一化导致的生成器和判别器训练速率不一致的问题。该改进的特点在于能够提高网络在训练过程中的稳定性,改善模型以往容易出现的不收敛的情况。实验结果表明,本文提出的算法在训练过程中模型表现平稳,收敛速度快,并与基于导向滤波以及基于卷积网络的方法进行了实验对比,就相关数据进行了比较,充分证明了本文提出的基于注意力GAN网络算法的可行性和有效性。
(3)为了更好模拟算法的实际应用场景,本文首先通过在集装箱吊具上安装工业相机的方式,来采集港口实际装卸过程的视频图像数据,并将所得视频数据按固定时长间隔截取图像,作为数据集中的原始图像部分。其次在原始图像中批量添加带有随机高斯噪声的雨线和雪花,使图像能够更好模拟真实雨天和雪天的成像效果,保证了所添加雨雪痕迹的多样性。然后将其与原始图像一一对应,组成可用于网络训练的图像对。其中,数据集分成了训练集和测试集两部分,训练集用于模型的训练,测试集则用于检验模型的最终性能。实验证明,本文制作的数据集使模型在特定场景中取得了更好的去雨雪效果。
(1)在条件生成式对抗网络(Conditional Generative Adversarial Networks)的基础上,针对生成图像细节纹理质量不高,图像过于平滑的问题,对网络的损失函数进行了改进,将激活层之前的特征图作为感知损失函数计算的依据,以此提高网络生成图像的质量。该改进的特点在于能够获取更多的图像信息,改善图像在通过较深网络,特别是在经过激活层之后出现的特征图像稀疏问题。本文将所提出方法与基于卷积网络、基于先验信息方法、基于稀疏编码的方法进行对比实验,并比较了试验结果,充分证明了本文提出的基于CGAN网络算法的可行性和有效性。
(2)在注意力生成式对抗网络(Attentive Generative Adversarial Networks)的基础上,针对网络在训练中容易出现的模型坍塌问题,本文对算法中的判别器进行了改进,在其中加入了谱归一化(Spectral Normalization)的操作,并使用两个尺度更新规则(TTUR),避免使用谱归一化导致的生成器和判别器训练速率不一致的问题。该改进的特点在于能够提高网络在训练过程中的稳定性,改善模型以往容易出现的不收敛的情况。实验结果表明,本文提出的算法在训练过程中模型表现平稳,收敛速度快,并与基于导向滤波以及基于卷积网络的方法进行了实验对比,就相关数据进行了比较,充分证明了本文提出的基于注意力GAN网络算法的可行性和有效性。
(3)为了更好模拟算法的实际应用场景,本文首先通过在集装箱吊具上安装工业相机的方式,来采集港口实际装卸过程的视频图像数据,并将所得视频数据按固定时长间隔截取图像,作为数据集中的原始图像部分。其次在原始图像中批量添加带有随机高斯噪声的雨线和雪花,使图像能够更好模拟真实雨天和雪天的成像效果,保证了所添加雨雪痕迹的多样性。然后将其与原始图像一一对应,组成可用于网络训练的图像对。其中,数据集分成了训练集和测试集两部分,训练集用于模型的训练,测试集则用于检验模型的最终性能。实验证明,本文制作的数据集使模型在特定场景中取得了更好的去雨雪效果。