论文部分内容阅读
胶片电影是人类的文化遗产,由于物理损伤和胶片本身的化学性质,导致胶片电影出现划痕和斑块等问题。卷积神经网络在视频图像处理领域取得较好的效果,研究基于卷积神经网络的胶片电影修复技术具有重要意义。本文的主要研究内容如下:1)针对传统划痕检测算法的检测效果受阈值影响较大,单一阈值用在视频序列很难达到检测要求。划痕形状简单且固定与医学图像类似,本文将医学图像处理领域应用广泛的U-net用于划痕检测。制作划痕数据集,根据划痕宽度较窄的特点对网络进行改进,训练网络参数模型达到收敛。对带有划痕的图像进行预处理送入网络,最后对划痕的语义分割图像进行过滤和补全,得到划痕损伤的掩模图像。实验结果表明,此方法对垂直划痕有较好的检测效果。2)由于斑块的随机分布特性,斑块检测需要使用运动补偿后的帧间信息。传统的二维块匹配运动估计算法法搜索质量较好,但搜索速度不够快。针对传统块匹配法搜索速度上的不足,提出一维块匹配运动估计算法。实验结果表明,该算法在保证定量评价峰值信噪比的前提下,显著提升运动估计的搜索速度。斑块检测需要使用用镜头分割算法对视频序列进行预处理,根据镜头分割结果选择斑块检测的参考帧。通过运动补偿后的参考帧与当前帧差值的形态学运算,得到斑块的掩模图像。实验结果表明,该算法可以有效的检测斑块区域,但也会将视频中的运动区域误检测为斑块区域。3)针对视频中局部运动区域的大面积误检测问题,本文将Edge-connect网络用于损伤修复。该网络采用先修复纹理信息,再修复颜色信息的分阶段修复方式。制作数据集训练颜色修复网络。实验结果表明,该算法可以有效修复划痕和斑块损伤区域,而且对大面积误检测区域有较好的修复效果。本文结合上述的划痕和斑块的检测与修复算法,设计了完整的划痕和斑块的检测修复系统。实验结果表明,该系统对划痕和斑块的检测修复效果较好,且自动化程度较高。