基于多尺度视觉注意机制的最优系列照片选择方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:coolsun070279
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能手机、相机的普及,人们逐渐习惯通过照片记录每一个难忘的瞬间。为了确保捕捉到最佳镜头,用户通常会为同一对象或场景拍摄一系列照片。但出于节省空间的考虑,随之而来地则是用户必须从这些几乎相同的图像中手动确定保留的对象,这个过程常常耗时费力。越来越多的研究者希望计算机能够辅助用户选出相似照片中更具吸引力的照片,即找寻一种促进系列照片筛选最优图像的自动评估方法。以往的图像美学质量评价研究工作大多直接使用顶层卷积层产生的特征对图像进行分类或回归预测,这些方法仅采用神经网络有高级语义信息的特征,处理相似的系列照片倾向于产生类似的预测结果,且模型性能不佳。本文致力于将系列照片的美学质量评价工作由单纯的分类或回归任务转换为图像排序比较任务,通过将图像在美感水平上进行排序来达到美学评价的目的。基于上述背景,在本论文的工作中提出了基于多尺度视觉注意机制(Multi-Scale Visual Attention Mechanism)的最优系列照片选择方法。首先,本方法采用参数全共享的孪生卷积神经网络结构学习两幅相似图像的区分性特征,以对图像对做出相对的美学质量评估。其次,我们通过加入较低层次的特征,以此来补充高层语义特征不具备的高分辨率图像细节,通过实验分析了卷积神经网络不同卷积层输出特征对美学质量评估的影响,最终聚合后三层网络的输出特征来代替以往研究中的顶层特征预测图像美感。最后,由于使用较低层特征会带来大量的冗余信息,本文还利用并行注意机制和自注意机制滤除干扰信息以获得更精简的美感特征,该特征具有良好概括性且具备整合全局和局部信息的能力。所提出的方法能够精准的、自适应对系列照片提取融合高分辨率信息和高级语义信息的特征,为处理系列照片和传统图像美学质量评价提供了新的思路。并且,该方法首次在图像美学质量评价领域引入多尺度特征融合技术来获取高分辨率细节特征,并使用注意机制过滤特征的空间、通道维度。本文中详细地展示了网络框架的设计以及各技术在结构中所起到的作用。为了验证方法的有效性,本文在包含5953个系列的美学数据集Phototriage和包含38717张图像的改进AVA数据集上分别进行了较为系统的实验。论文所提出的方法在上述两个数据集中,准确率分别达到76.47%和93.13%,其性能在整体上都优于最新的几种图像美学质量评价研究方法。此外,我们借助消融实验分析网络组成和结构的必要性,验证了本文结构设计的合理性。
其他文献
在当前网络盛行的浪潮下,“互联网+”、“大数据+”、“智能+”等现象的出现,导致事物之间的链接离不开数据的传输。遍布在我们生活周围的智能终端与网络设备构成了庞大的数据网络。种种迹象表明,我们已经步入到大数据时代。大数据影响我们生活的各个方面。大数据不仅影响着我们的认识活动,而且也渗透到了我们的实践活动中,并不断革新着我们认识世界的传统方式。在此背景下,研究大数据对人类认识的影响和作用,则是必须,也
乌拉特灌域位于内蒙古河套灌区最下游,承担着整个灌域的排水任务,是我国重要的粮食生产基地,但由于原生地质及人类活动等因素导致地下水含盐量较高,水质恶化,地下水利用率较
“元亨利贞”在《周易》卦爻辞中反复出现,或合用,或分用,或与他事连言,四字之义不明,则经义难明。故《易传·文言》释“元亨利贞”为“四德”,即“元者善之长,亨者嘉之会,利者义之和,贞者事之干”。《文言》所释,四字各为一德凝练精当,堪称经典,此后广为沿用。至唐孔颖达作《周易正义》,四德说才有了新的发展。首先,孔颖达在《文言》四德说的基础上,将四字释义与卦象、卦时、卦义相结合,使“元亨利贞”的含义具体化
股票市场是一个错综复杂的系统,存在众多因素影响股票收益。如何科学有效的选择合适的股票进行投资是关注的热点,也是金融投资领域研究的重要方向之一。股票分类的关键在于股票特征的选择和分类模型的确定。股票分类就是在公司财务指标和股票收益之间建立某种映射关系,再利用这种映射来预测未来股票收益。但由于股票价格现象是一个非线性系统,传统的股票投资分类价值研究方法有诸多不足,需要面对学习能力、维度灾难等挑战问题。
黏土的力学特性是决定地基及其上部(内部)结构物变形和稳定性的重要因素。在土力学发展的历史上,掌握黏土的力学特性、构建相应的本构模型,一直是提高软土工程数值计算精度的
目的:总结分析4例由RAG1基因突变引起的免疫缺陷患儿的临床特征、免疫表型及基因型。方法:收集2018年3月-2018年7月在重庆医科大学附属儿童医院就诊的4例经基因确诊RAG1基因
杯芳烃是超分子化学领域的基本大环结构之一,是继冠醚、环糊精之后的第三代超分子主体化合物。近几年来,杯芳烃化学发展迅速,并衍生出众多的类杯芳烃功能化合物,这类化合物易于合成修饰,并且具有容纳阴阳离子、中性离子的空腔结构,因此被广泛应用于生物、催化、分离、化学传感器等方面。用CH2OCH2基团取代传统的杯芳烃桥联的CH2基团形成氧杂杯芳烃不仅增加了杯芳烃上的空腔尺寸,还提高了杯芳烃的柔韧性,使得构象更
X射线相位衬度成像技术不仅可以提供传统X射线吸收衬度成像的吸收衬度,而且兼具相位衬度成像和暗场成像两者的优势。对于那些由轻元素组成的物质,硬X射线相位衬度成像技术理
决策是一种普遍且重要的行为,小到个人择业、家庭购房,中到组织评优、企业投资,大到科技研发、国策制定,决策无处不在。由于决策环境的多变性、事物本身存在的不确定性以及人类认识的模糊性,加之群体的智慧往往比个体智慧更加全面客观,所以基于区间模糊信息的群决策成为了现代决策科学的一个重要研究内容。现有研究中,基于区间值的群决策方法有很多,但仍存在以下三点不足。第一,关于不完全区间偏好关系,不论是在估计缺失值
抽穗期与光合作用均是影响水稻产量的潜力因素,两者在控制水稻生长发育以及开花繁殖上存在着一定的联系。抽穗期对于产量的控制可能与光合作用途径密切相关。Hd1和Ghd7均是控