基于特征聚合和数据驱动的盲图像质量评价

来源 :武汉大学 | 被引量 : 4次 | 上传用户:gsfv85
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字图像作为人类最直观的信息载体蕴含着大量有价值的数据。在一张数字图像的整个生命周期中:获取,传输,压缩,存储以及各类图像处理过程均中,受到成像系统和成像环境,图像压缩算法,图像传输信道,图像存储介质以及不同的图像处理算法等影响,图像的感知质量都有可能遭受不同类型、不同程度的失真,从而造成蕴含在数字图像中的信息的损失。为了控制、保持和增强图像质量,对于图像的采集、管理、传输和处理系统来说,能够识别和量化图像质量等级就显得非常重要,因此开展图像质量评价研究具有深远的现实意义。此外,图像质量评价还能够为其他图像处理领域,例如图像去噪,图像去模糊,图像复原,图像超分辨率重建以及图像增强等提供客观的性能评价指标。在实际应用中,由于在大多数场合下无法获取图像的任何参考信息,因此相较于全参考和半参考图像质量评价,盲图像质量评价更有研究价值。本文着力于盲图像质量评价,从四个方面做出了贡献。本文首先提出了一种多通道特征聚合质量评价器模型MCAF,通过在多个不同的颜色空间中提取多类异构而互补的模拟HVS中心—周围拮抗机制的质量敏感特征组获取对图像信息的描述以及一种新颖的图像表征方法,解决了传统给予自然场景统计的盲图像质量评价对特征利用不充分以及表达不够完善的问题。在三个主流合成失真图像质量评价数据库的实验表明,相较于其他经典模型,MCAF取得了更高的主客观一致性以及良好的泛化性能。本文的第二个贡献为针对真实失真图像的质量评价研究提出了一个全新模型SE-ML-MI,利用一个较新的卷积神经网络模型SE-ResNet-50作为基础的特征提取器,延续MCAF中联合多类异构且互补特征的思路,联合提取了卷积神经网络中的浅层的图像低层特征,中层的图像纹理特征和高层的图像语义信息。为了更好地表达图像特征,本文同时使用了三种简单有效且互补的池化方式对每一层特征进行聚合。然后使用一种基于互信息的维度选择算法来减轻由于联合多层特征和多池化特征聚合手段带来的高图像表征维度和高图像表征信息冗余的问题。在两个真实失真图像质量评价数据库的实验和一个复合合成失真图像质量评价数据的实验结果表明SE-ML-MI相较于经典模型能够更好地应对真实场景中的图像质量评价任务且具有良好的泛化性能,同时在运算复杂度和预测度之间取得了一个良好的平衡。本文的第三个贡献在于提出了一种可端到端学习的深度双线性卷积神经网络DB-CNN。通过结合两个各有所长的网络分支组成的最终模型能够同时处理两大类的盲图像质量评价任务。DB-CNN的第一个分支为面向合成失真的S-CNN,在合成的大规模失真图像数据集中通过分类任务的形式对S-CNN进行训练获取一个良好的初始化权重。DB-CNN的第二个分支为面向真实失真的VGG-16,由于它已经在包含了许多真实失真图像的ImageNet中完成了预训练,因此可以较为成功地捕获真实失真图像的特性。通过对S-CNN和VGG-16进行裁剪然后通过双线性池化层将两个分支组成一个可端到端学习的有机整体,DB-CNN在三个合成失真数据库以及一个真实失真数据库中均取得了优秀的结果。此外,在大规模图像数据库Waterloo Exploration以及群体最大差异竞赛gMAD的实验结果表明DB-CNN具有优秀的可扩展性,泛化性和鲁棒性。最后,本文将盲图像质量评价引入纸币的新旧清分应用。首先收集了大量的实际纸币样本并进行采样,收集的样本分为大规模的预训练集和有人工分类的主观质量测试集。然后设计了一种轻量级卷积神经网络应用于纸币新旧清分,综合采纳了多种CNN的设计思路进行网络结构设计,并采取预训练加微调的双步骤训练策略以利用大样本的优势同时避开了主观标签不足的问题。实验结果表明该模型具有良好的新旧鉴别能力以及预测稳定性,对比实验也验证了它设计的合理性。
其他文献
期刊
电子商务的迅猛发展以及企业电子商务业务的快速开展,使得电子商务专业的人才需求越来越大。本文通过资料搜集,文献对比,实际情况分析、问卷调查以及内容分析法,了解了高校电
现代信息技术为中学英语课堂教学提供了理想的教学支持,促使教师适应时代转变角色,促使学生开拓思路,提高能力。现代信息技术环境下的英语课堂呈现出一种澎湃的活力,使中学英
亲爱的同学们,难得的暑假终于到来了。Hot summer,isn’t it?夏日里尽情享受阳光当然好,但防晒也同样重要哦!记得保护好你的皮肤。(Remember to take care ofyour skin.)
通过雾封层技术在广州某高速公路沥青路面预防性养护中的应用,探讨了雾封层技术的适用性、施工工艺及质量控制要点,经施工前后的路面性能检测,表明雾封层技术能有效的改善路
归纳总结了国内宽肢异形柱的研究成果,结合宽肢异形柱斜截面受剪承载力试验,分析了宽肢异形柱的受力特性,并通过宽肢异形柱斜截面受剪承载力试验结果与现行异形柱规程提出的
中国的电子商务要发展,人才是关键。高校作为培养专业人才的主要机构,肩负重任。本文分析了中国高校电子商务人才培养存在的问题,对更好地为社会培养出合格的人才应采取的措施进
1概述欠平衡钻井是目前发展速度较快的一种钻井技术,和常规过平衡或近平衡钻井相比,具有减少地层损害、提高机械钻速、降低循环压耗、避免井漏和减少压差卡钻等优点,因此越来
<正>中医药免疫可以看作是在中医药和免疫学研究不断深入的过程中,相互渗透,逐渐形成的以免疫学为体系的一门学科,主要是以现代免疫学的理论和方法研究传统的中医药,现已有《
会议
所谓的"以学定教",简单地说就是学生通过有效的自主学习来确定教学的核心内容,教师梳理学生真正需要知道的、需要教师指导和帮助的部分内容,根据该部分内容制定教学方案、设计