论文部分内容阅读
随着社会的发展,基于图像的应用越来越多,例如人脸识别,高光谱图像矿物勘探、环境监测等。同时图像的分辨率也越来越高。图像的稀疏表示(Sparse Representation,SR)是一种非常有效的图像处理方法,它利用少量的系数来表示图像,从而为后续的图像分析和应用提供便利。然而由于图像所包含的信息多样化,稀疏表示算法具有较高的复杂度等原因使得现有的单机计算平台难以分析大规模图像,且执行效率低下。云计算是近些年新起的一个可扩展的分布式并行计算框架和存储大规模数据的平台,具有强大的计算能力和广泛的应用前景。本文在研究Hadoop的MapReduce计算框架、分布式文件系统HDFS,Spark系统结构、任务调度和分布式弹性数据集RDD等云计算关键技术的基础上,结合图像去噪修复中的实际应用背景,设计了基于Spark的图像稀疏表示K-SVD算法分布式并行优化方法和组稀疏-TV算法高光谱图像去噪修复分布式并行优化方法,并利用大量的图像数据,进行实验验证。实验结果表明,本文提出的图像稀疏表示分布式并行优化方法在保证处理结果正确性的同时,能够获得较高的加速比和处理大规模数据的能力。主要内容包括:1.基于Spark云计算平台进行了图像稀疏表示K-SVD算法的分布式并行优化。在分析了图像稀疏表示的K-SVD算法和OMP算法的基础上,并结合了 Spark任务调度和MapReduce计算框架,改进了 K-SVD算法的字典更新方式,采用原子单独更新的方式,从而增加了算法的并行度。根据系数向量具有稀疏性的特点,设计了三元组结构记录每一个稀疏向量,从而压缩数据规模,减少数据传输量和冗余计算。针对OMP算法在求解过程中会产生残差向量和K-SVD算法字典更新过程中需要计算误差矩阵的特点,优化误差矩阵的计算方式,减少误差矩阵的计算量。同时设计了合理的中间数据结构,并充分利用数据本地性的任务调度策略,减少数据在各个节点之间的来回传输和MapReduce任务之间的数据shuffle。通过与单机串行实验作对比,验证了本文方法的有效性和加速效果。2.基于Spark云计算平台进行了高光谱图像组稀疏-TV去噪修复算法分布式并行优化。在分析了基于高光谱图像的组稀疏算法、TV去噪修复算法和PCA算法的基础上,并结合了 Spark任务调度和MapReduce计算框架,改进了 PCA算法计算方式,减少算法的计算量。利用多节点之间并行的网络传输能力,减少在去噪修复过程中的数据传输时间。同时设计合理的中间数据结构和利用RDD数据本地性,减少在TV算法中不同RDD之间的数据传输。通过共享变量的内存空间,减少在迭代过程中中间数据申请新空间的次数,从而减少GC时间。优化TV算法中梯度矩阵的计算方式,合并部分矩阵的计算,减少算法的计算量。通过与单机串行实验作对比,验证了本文方法的正确性和加速效果。