基于多特征融合和卷积神经网络的无参考图像质量评价及应用

来源 :上海海洋大学 | 被引量 : 0次 | 上传用户:shuimolanting
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像质量评价是图像处理领域的基础性问题。由于无参考图像质量评价无需借助参考图像便可进行图像质量评估,其实用性远远超过全参考和半参考图像质量评价。卷积神经网络可以自动提取图像特征并拥有极强的分析能力,近年来被屡次应用到无参考图像质量评价当中。经典的CNN-IQA(Convolutional neural network for image quality assessment,CNN-IQA)模型作为首个被应用到无参考质量评价领域的卷积神经网络模型,蕴含着重要意义,其对综合失真类型和各单一失真类型的图像质量评估都拥有着较好的性能。但是CNN-IQA存在着一定的缺陷,它明显地忽略了各分块图像之间存在的质量差异性问题,严重阻碍了CNN-IQA性能的提升。针对以上问题,本文提出了多特征融合的方法以改进CNN-IQA并将其应用到遥感噪声图像质量评估工作中去。首先,本文提出人眼视觉关注效果会对图像质量评价工作产生影响,人眼倾向于从人眼视觉关注度高的图像区域进行质量评估。图像信息熵与纹理特征可以更好的提取图像敏锐度,相较其他区域,人眼对视觉敏锐度高的图像区域更加关注。因此本文通过提取图像分块的信息熵和纹理特征并将提取计算的两特征相结合,计算各图像分块的重要性权重并改进CNN-IQA的损失函数,用以凸显高重要性权重分块的图像,也就是视觉关注效果好的图像分块在训练中发挥的作用。在LIVE和TID2008数据集上进行对比实验发现,改进后的算法对于不同类型及程度的失真图像都有着较为准确的评价。在LIVE数据集上该算法的SROCC和LCC指标分别为0.962与0.960,提升效果至少0.9%以上;在TID2008数据集上该算法的SROCC和LCC指标分别为0.922与0.926,提升效果至少0.6%以上。并且该算法无论在LIVE和TID2008数据集上进行对比实验,其性能都优于其他对比算法,评估结果与人类视觉感知有很好的一致性。然后,本文针对于噪声失真的特性提出对噪声失真图像的无参考质量评价算法并将其应用到遥感噪声图像的质量评估工作中。由于通过估算噪声强度来评估图像质量的工作存在着两个明显的问题:(1)无法准确评估同一噪声失真程度的图像之间的相对质量差异。(2)剔除非平滑图像块,仅仅只用平滑图像块的方差来衡量图像噪声强度会导致影响图像质量因素的缺失。因此,本文在CNN-IQA的基础上,提出提取图像分块信息熵和局部方差并将提取计算的两特征相结合,获得各分块的重要性权重后改进CNN-IQA的损失函数,用来凸显高重要性权重的图像分块在训练中的作用。该改进既充分利用了人眼视觉效果,又综合考虑了所有图像分块对整幅图像噪声的影响。使用LIVE数据集上的高斯噪声图像进行对比实验发现,该算法的SROCC和LCC指标分别为0.996和0.993;使用TID2008数据集上的高斯噪声图像进行对比实验发现,该算法的SROCC和LCC指标分别为0.951和0.966。并且该算法无论在哪个数据集上进行实验,其对噪声图像质量评估效果明显优于其他对比算法。另外本文将提出的针对噪声失真图像的质量评价算法应用到了遥感噪声图像中。由于遥感领域没有专用的遥感图像质量评价数据集,本文设计实验方案:分别使用提出的算法和各对比算法筛选遥感噪声图像训练集并对两个遥感图像分类算法VGG-VD-16和Res-Net-152进行训练,使用测试分类精度来间接衡量各算法的质量评价性能效果。进行实验发现,通过本文算法筛选的遥感噪声图像训练出来模型拥有较高的遥感图像分类精度,间接说明了该算法适用于遥感噪声图像质量评价并且有着较好的性能。
其他文献
海洋占据了地球的绝大部分,地球一半以上的氧气都由生活在海洋中的浮游植物所产生,且海洋作为地球食物链不可分割的重要一环,为全球数以亿计的人口提供了赖以生存的食物资源,还有逾千万人依靠海洋渔业和旅游业就业,海洋资源的健康与人类生存息息相关。目前海洋塑料污染虽然危害大,但各国已经在推行积极的措施用以解决相关问题,而海洋微塑料并未引起足够的重视。由于微塑料肉眼无法观测,且不受体积的限制,因此污染范围不仅遍
学位
为了探究影响广西甘蔗主产区榨季蔗糖分的气象因子,本研究利用广西主要蔗区2009-2017年的蔗汁糖分和气象数据,通过聚类分析、主成分分析及滑动窗口式相关性分析明确影响蔗汁糖分的关键气象因子,同时以北海地区星星糖厂近10年逐日糖分和同期当地气象数据,建立基于气象因素的蔗汁糖分预测模型。结果发现:(1)广西不同蔗区历年蔗汁糖分变化规律与地域分布高度呈现相关的规律性波动。其中,沿海与内陆蔗区的波动规律截
期刊
台风为广大沿海地区带来了充足的雨水,它是与人类生产生活密切相关的降雨系统。但是,台风是世界上最严重的自然灾害之一,具有突发性强、破坏力大的特点,它产生的强风、暴雨和风暴潮也总是带来各种破坏。每年全球会形成大约90个台风,对台风的及时检测和跟踪是对受影响地区进行预警的重要手段。准确自动检测台风风眼位置可为台风预报与监测研究提供先验信息,以预防和减轻灾害损失。台风中心定位工作在台风强度分析和台风路径预
学位
中国水产品市场正不断在总产量和人民消费水平上提升,以人工饲养为主的生产量也出现了稳定的上升迹象。同时,在水产品捕捞、运输、加工、销售等环节,水产品市场的发展也逐步地暴露了许多问题,如在水产品养殖中养殖水域环境造成的污染,捕捞中的药物残留污染,销售环节水产品放置环境的污染以及水产品加工过程中由于机器、人为等造成的污染,这些问题的出现都对水产品行业提出了更高的要求,水产品行业越来越需向着生产更高质量的
学位
海冰占全球海洋面积的5%~8%,不仅会对海洋自身水文状况、大气环流和气候变化产生重要影响,而且也会直接影响人类的社会实践活动,如船舶航行,海底采矿等,甚至导致重大灾害。全球多个国家已经对海冰进行了密切监测,其中海冰分类是海冰监测任务的基础工作。合成孔径雷达(SAR)作为一种主动式微波传感器,具有不受光照和云层等条件的限制能够提供全天时、全天候、多极化、多波段的大范围高分辨率遥感数据的能力,近年来成
学位
随着航天科技的发展,太空中卫星的数量不断增加,不同类型的卫星影像,如资源三号、合成孔径雷达(SAR)卫星逐渐发展和完善,在自然灾害监测、台风前后变化检测、三维重建、影像拼接等影像处理方面有广泛应用。不同体制的卫星影像也越来越多应用于各行各业,如资源三号、合成孔径雷达(SAR)卫星的发展和完善使其在自然灾害监测、台风前后变化检测、三维重建、影像拼接等方面得到广泛应用。卫星影像匹配作为上述应用的基础核
学位
北斗卫星导航系统(Bei Dou Navigation Satellite System,BDS)是我国自主研发的导航定位系统,也是我国迄今为止最复杂的巨型航天星座系统。2020年,北斗三号卫星导航系统已全面建成并正式开通服务,标志着北斗"三步走"发展战略圆满完成,同时为北斗卫星导航系统反射测量(Bei Dou Navigation Satellite System Reflectometry,B
学位
地球上的冰冻圈可分为陆地冰冻圈、海洋冰冻圈和大气冰冻圈三大类型,具体分为极地冰盖、冰架、海冰、山地冰川、冻土和大气中的冻结状态水体等。其中陆地冰冻圈的分布以地球的两极和高海拔地区为主,而南、北极地区域又占据着绝对主导地位。极地冰盖不仅蕴含大量的淡水资源,同时对于全球的气候变化、水循环以及区域生态系统都有着深刻的影响。在当今全球变暖的大背景下,对极地冰盖的物质平衡的研究有着非常重要的意义,可以帮助我
学位
水生植物能够净化污染物,抑制藻类生长,在生态系统重建方面具有重要的应用价值,特别是水烛,梭鱼草,香菇草,再力花等水生植物,被广泛应用于污染水域修复。因此获取准确的水生植物种类数量及生长状况信息,有助于水生态环境的监测。目前,国内外对水生植物的种类识别研究主要分为两类,一类是基于水生植物成像图片进行分类识别,此方法主要是依据植物叶片的基本特征,包括形状特征和纹理特征进行分类识别,但是提取形状特征和纹
学位
海洋面积约占全球面积的70%,而海冰占据不到10%的海洋面积。然而,海冰对地球上的大气环流、能量平衡有着重要影响,是影响气候变化的重要因素。同时,海冰的存在对海上作业、极地考察等形成严重阻碍。所以,对海冰的检测显得尤为重要。海冰检测包含对海冰类型的判别,对海冰面积的预估以及对海冰边缘线的预测等,其中,海冰分类作为海冰检测的一项重要内容,是我们主要的研究方向。随着遥感传感器技术的精细化发展,可获得丰
学位