基于美学评价的自动裁图算法研究

来源 :江西财经大学 | 被引量 : 0次 | 上传用户:lijing202740
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们的审美需求日益提高,研究符合美学的视觉内容变得越来越迫切。从图像中裁剪出构图更佳的区域是提升图像美感的有效手段之一,也是计算机视觉领域极具挑战性的问题。在有限的存储和传输资源约束下,利用自动裁图算法为用户提供尽可能好的视觉体验,具有重要实际意义。主流裁图算法旨在构建基于图像美学评价的裁图评分模型,无法很好地解释图像美学的内在机理,现有的裁图数据集难以有效评价裁图模型的泛化能力。为验证主流裁图评分模型的真实性能,本文基于差异最大化竞争思想设计了一种有效的裁图评分模型泛化度量算法(maximum discrepancy competition for generalized image cropping model evaluation)。为提升自动裁图的视觉效果,本文进一步提出了聚合细粒度特征的深度注意力自动裁图模型(deep attention guided image cropping network with fine-grained feature aggregation,DAIC-Net)。具体研究内容如下:(1)基于差异最大化竞争的裁图模型泛化度量算法。该算法主要包含4大步骤:获取规模足够大的初始图像数据集,并获得所有待评估裁图评分模型在该数据集的预测结果;选择任意两个裁图评分模型进行成对比较(pairwise comparison),获得二者裁图评分分布差异最大的图像集合;再推广到所有模型的两两竞争,构建模型差异最大化且具代表性的裁图测试集;通过小规模主观实验获取测试集的平均意见分数(mean opinion score,MOS),计算所有裁图评分模型预测结果相对MOS的一致性和准确性,并将结果转化为两两模型成对比较的分数矩阵和所有模型的全局泛化能力排名。实验结果表明,本文提出的算法能够使用较少的人力物力,自适应地收集真实场景下的裁图困难样本,高效、准确地检验当前最新裁图评分模型对于开放视觉世界的泛化能力,并反映各竞争模型的优势和缺陷,为基于美学评价的自动裁图算法研究提供潜在优化方向。(2)聚合细粒度特征的深度注意力自动裁图模型。整体模型结构由通道校准的语义特征提取(semantic feature extraction with channel calibration,ECC)、细粒度特征聚合(fine-grained feature aggregation,FFA)和上下文注意力融合(contextual attention fusion,CAF)3个模块构成,采用端到端的训练方式,核心思想是多尺度逐级增强不同细粒度区域特征,融合全局和局部注意力特征,强化上下文语义信息表征。ECC模块在通用语义特征的通道维度上进行自适应校准,融合了通道注意力;FFA模块将多尺度区域特征级联互补,产生富含图像构成和空间位置信息的特征表示;CAF模块模拟人眼观看图像的规律,从不同方向、不同尺度显式编码图像空间不同像素块之间的记忆上下文关系;此外,定义了多项损失函数以指导模型训练,进行多任务监督学习。在3个数据集上与最新的6种方法进行对比实验,本文方法优于现有的自动裁图方法,在最新裁图数据集GAICD(grid anchor based image cropping database)上,斯皮尔曼秩相关系数和皮尔森相关系数指标分别提升了2.0%和1.9%,其他最佳回报率指标最高提升了4.1%。在ICDB(image cropping database)和FCDB(flickr cropping database)上的跨数据集测试结果进一步表明了本文提出的DAIC-Net的泛化能力。此外,消融实验验证了各模块的有效性,用户主观实验及定性分析也表明DAIC-Net能获得视觉效果更佳的裁图结果。
其他文献
报纸
<正>在金融与科技加速融合、银行领域与非银领域相互渗透的今天,各大商业银行纷纷下沉服务重心,围绕数字化转型和市场多元化需求,搭建与银行业务密切连接的非银服务体系,以各垂直场景为依托,向客户提供触手可及的金融服务。金融机构逐步向体验场景化、服务生态化、运营数字化、产品个性化和业务敏捷化转型,“金融无处不在,就是不在银行”的Bank4.0时代已然到来。
期刊
乡村振兴是党和国家重要工作内容,同时城乡消费差距问题也备受社会各界关注。在空间视角下研究人口结构特征对城乡消费差距的影响,有利于我国各地区更好的利用自身的优势和资源,为我国高效推动高质量乡村振兴工作提供决策依据,具有一定的现实意义。首先,本文对关于人口论、城乡消费等相关理论的国内外文献进行梳理。其次,本文通过基于主成分分析提取特征值的聚类分析,将中国31个地区依据人口结构与经济发展的适应程度进行分
学位
在过去的40年里,我国经济快速发展,与此同时人开始关注有限的环境资源,新能源汽车行业应运而生。新能源汽车行业的发展对缓解能源紧张、减少环境污染具有重要意义。但新能源汽车行业是技术密集型产业,其在发展初期离不开政府在政策上的支持。对此,政府通过补助资金的发放,帮助新能源汽车企业缓解现金流动压力,增加自身的创新投入,增强新能源汽车企业市场竞争力,有效调整了汽车产业结构,使新能源汽车占比不断提高。自20
学位
β-Ga2O3是典型的宽禁带半导体材料,其禁带宽度约为4.9e V,具有较高的临界电场强度(8MV/cm)、非常突出的热稳定性和化学稳定性,在日盲紫外光电探测器、传感器和高功率电子器件等领域具有广阔的应用前景。本文在室温下采用射频磁控溅射技术在蓝宝石(001)衬底上制备了不同厚度的β-Ga2O3薄膜,并对制备优良的薄膜进行了不同退火气氛和退火温度的后退火处理,研究了薄膜厚度、退火气氛和退火温度对所
学位
学位
乡村振兴战略的工作重点在乡村,农村环境关系着广大乡村地区的民生福祉,解决农村经济发展与环境保护之间的矛盾是党和人民的殷切期望。在此背景下,对我国农村地区环境治理效率展开研究并给出提升农村环境治理效率的政策建议,具有较强的现实意义。本文首先梳理了环境治理方面的相关文献,熟悉该领域的研究内容,并确定了本文的研究方法和研究思路。然后对本研究相关的基本概念和理论进行了详细阐述。其次,在分析农村环境治理现状
学位
当前,我国正在努力推进经济转型。为加快我国传统制造业智能化升级,国务院颁布了《中国制造2025》与《工程机械行业“十四五”发展规划》等一系列的政策,有利于企业深化产品结构改革、构建现代产业体系。政策明确指出了要以发展智能化产业为目标,加快智能制造技术在生产过程中的应用,最大限度地促进制造业智能化升级,改善生产工艺流程,提高生产效率。目前智能制造业有工业机器人、服务机器人、医疗机器人、特种机器人等产
学位
<正>在素质教育的整体教育环境当中,相关的教育部门以及幼儿园对幼儿精神方面的引导越加重视,同样在解放军部队的幼儿园教育中,也更加重视红色教育理念。因此,教师应该积极地将红色精神、红色文化、红色资源充分利用起来,为幼儿创设良好的红色文化学习环境。本文从挖掘红色资源出发,立足于红色教育并不断拓展新的教育范围,探究解放军部队幼儿园红色教育实施的具体策略。
期刊
人口与经济的问题是人类社会最基础和核心的问题,是影响国家和地区经济发展的关键。随着户籍制度的逐渐放开以及信息、交通的快速发展,人口向中心城市集聚的向心力不断强化,人口大规模迁移至某一特定城市产生人口集聚是当前中国人口的显著特征。人口集聚推进了城市化发展,为区域经济发展提供了人力资本保障,而长江中游城市群作为我国经济增长的重要一极,整体经济实力较强,交通优势明显,人口规模大,具有极其重要的战略定位。
学位