论文部分内容阅读
据麦姆斯咨询报道,2018年计算机视觉的整体市场规模已经达到119.4亿美元,到2023年预计可以达到173.8亿美元,计算机视觉成为人工智能领域最具实用价值和应用前景的技术。在各种计算机视觉任务中,图像是开展研究的基础,图像质量的好坏决定了图像处理任务的完成效果。但是由于图像采集设备硬件条件的限制,以及采集环境和采集人员熟练程度的影响,图像质量往往达不到实际需求,尤其是图像分辨率的限制以及拍摄过程中产生的图像模糊等因素,会对后续的其他视觉任务造成严重的干扰,限制了计算机视觉实际应用的效果,成为制约深度学习技术进一步发展的瓶颈,图像增强技术成为人工智能领域的研究热点。现实场景中的成像过程会受到各种因素的干扰,从而影响到最终的图像质量,图像增强等计算机视觉技术对于现实中的图像采集问题具有至关重要的作用。比如在化学合成领域,扫描电镜是探究微纳晶体生长过程中形貌变化的常用工具,用于辅助晶体的合成与制备。然而扫描电镜的成像质量会受到光学系统和操作人员的影响,获取边缘清晰、细节丰富的高分辨率电镜图像是目前亟待解决的问题;此外,电镜图像中存在着很多和晶体结构无关的信息,比如基底背景和其他产物等,不利于晶体的直接观测。针对上述问题,本文基于残差网络和生成式对抗网络等深度卷积网络,对于图像超分辨以及图像去模糊等图像增强方法,以及图像边缘检测方法进行了研究,探究图像增强方法对于计算机视觉任务的改善效果。并且以扫描电镜的图像增强与边缘检测为例,探究本文所述方法在现实场景下的实用意义与价值,主要创新工作如下:1.提出了一种基于深度残差网络和密集连接的图像超分辨率重建方法。使用密集连接改进残差结构,增强网络的特征传播和复用;在训练时,采用Nadam优化器,改善网络的训练效果和收敛情况。在DVI2K数据集上取得了较好的验证结果,EDSR是当前超分辨效果最好的深度残差网络之一,本文方法在SSIM上比EDSR提高了 0.0156,具有更好的视觉效果;并且在电镜图片的超分辨重建上也具有更好的结果,与EDSR相比,PSNR与SSIM分别提高了 0.25dB和0.03。2.提出了一种基于去归一化GAN网络的图像去模糊方法。DeblurGAN是基于GAN的开创性去模糊方法,本文对其进行了优化:一方面,去掉了生成器中的所有归一化层,以消除归一化导致的对比度拉伸问题;另一方面,使用更多的残差模块增加生成网络深度,使用更大的感受野改进图像生成的效果。在GOPRO数据集上的验证证明,本文所述方法相对于DeblurGAN,PSNR和SSIM分别提高了 0.35dB和0.0023,处理单张图片的时间减少了 11.5%;在电镜图像的去模糊上,本文方法在Brenner和Tenengrad两个无参考指标下比DeblurGAN提高了 1.4%和1.6%,具有更丰富的细节和更高的清晰度。3.提出了一种基于残差网络和多尺度特征的边缘检测方法。引入残差网络,改善网络的收敛效果,提高训练的稳定性;使用亚像素卷积代替反卷积作为上采样方法,用于特征图的尺度变换。相对于Canny算子和目前效果较好的主流方法如HED、RCF等,本文所述方法具有更好的效果,在BSDS500数据集测试图片上的F-measure分别提高了 10.81%、5.34%和1.07%;并且在纳米晶体电镜图像的轮廓检测上具有更好的连续性和准确性,可以更好地消除背景噪声。本文对超分辨和去模糊重建后的电镜图像进行了边缘检测,在维持了原有边缘连续性与准确性的基础上,进一步消除了背景噪音,并检测到了更精细的边缘,证明了图像增强方法对于边缘检测的效果具有一定的改善作用。