基于层次化多特征融合与集成学习的图像材质识别研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:candyyao007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
材质信息常存在于物体或场景表面,其蕴含较高价值的语义,因此,图像材质识别是计算机视觉领域中的基础问题,具有较高的理论和应用价值。本文围绕图像材质识别开展研究,采用相关分析类模型、集成学习策略和层次化多特征融合策略完成图像材质识别,主要工作如下:(1)基于相关分析的图像材质识别:针对材质识别中图像表观变化大、类间相似性高、类内差异较大等问题,采用特征早期融合方法,如CCA、grad KCCA、DCA等模型,挖掘图像特征间的典型相关信息,生成跨模态语义,然后训练九类通用分类器完成图像材质识别。实验表明:DCA模型的识别精度和实时效率均表现最佳,它更适合于图像材质识别。但是,相较于单一特征,相关分析类模型的识别精度偏低,需引入更多关键的判别信息。(2)基于判别相关分析与集成学习的图像材质识别:选取表现最优的三类跨模态语义,引入硬投票、软投票、堆叠等集成学习方法,充分利用模型间互补性完成材质识别。实验表明:三类集成学习方法的平均识别精度均有提升;两类投票方法在材质识别中的表现各有特点:在粗粒度材质数据集上,它们均能提升识别精度;在细粒度材质数据集上,集成学习方法的识别精度峰值出现下降。这是因为DCA模型仅聚焦两类异构特征间相关性,而忽略更多特征间的潜在互补信息,需分阶段、层次化地挖掘更多特征间的相关性。(3)基于层次化多特征融合与集成学习的图像材质识别:提出HMF2(Hierarchical Multi-feature Fusion)模型,它改进了MDCA(Multiset Discriminant Correlation Analysis)模型,执行层次化多特征融合并引入集成学习,进一步提升材质识别精度。实验表明:HMF2模型具有高效性、鲁棒性、简单性等优点。相较于MDCA模型,它能充分利用一组异构特征间相关性,进而丰富跨模态语义中判别信息,改善识别精度;材质识别性能优于主流基线,即使采用线性分类模型也能取得较高识别精度:在粗粒度数据集,HM8-top5-soft组合表现最佳,在细粒度数据集中,HM7-top7-hard组合表现最优;HMF2模型所含参数量较小,无需大规模参数调制。
其他文献
新常态下的公共管理有利于提高公共管理水平,可以为社会经济的高速发展提供帮助。作为系统化工程,公共管理所涉及的内容极为丰富,诸如社会资源、社会问题,只有合理采用公共管理手段,才能够在迎合时代背景的情况下发挥出其应有的作用。文章通过对新常态公共管理进行研究,并结合实际提出个人看法,希望为关注新常态公共管理的人群提供参考。
条纹投影轮廓测量(FPP)作为非接触式三维(3D)感测/成像的流行技术之一,在过去几十年中得到了快速发展。3D光学传感已经开始成为我们日常生活中不可或缺的一部分,例如智能手机上的3D传感器启用的Face ID等设备。随着FPP在人工智能(AI),机器学习,智能制造,机器人技术以及在其他领域的不断应用,这类技术将产生更加深远的影响。然而,这种先进的光学系统在工业应用中仍然存在一些基本的问题。在结构光
随着大数据时代的来临,社交媒体中出现了越发丰富的文本信息数据,特别是在微博和贴吧之中。虽然信息化丰富了人们的生活,但带来的却是监管的困难。由于在社交媒体中常常充斥着一些负面的消息和情况,如果不加以管控,则有可能造成负面的影响,但是以人力难以对庞大的文本数据进行管控,因此如何通过计算机算法对文本信息进行有效准确的分类成为当前计算机领域的一项重要研究课题。根据数据集的样本尺度可以将文本分成短文本和长文
无参考图像质量评价方法(No Reference Image Quality Assessment,NR-IQA)是目前图像质量评价技术的研究热点和将来的发展方向,它在图像处理、机器人技术、机器视觉、医学图像等领域都具有重要的应用价值。随着深度学习的发展,深度神经网络以其强大的建模和分析能力,被越来越多的研究者应用于图像质量评价领域,但在将深度神经网络应用于图像质量评价研究时,深层卷积神经网络模型
铁路运输设备是铁路重要的生产性资产,其健康持续稳定的运作是铁路运输生产活动的重要基础,是铁路运输组织活动正常进行的保证。铁路供电监控系统将收集到的线程电流、电压、有功功率、无功功率、功率因素、电力极值等运输设备技术状态数据作为铁路运输设备的高效管控和决策的重要依据。面对不断增长的技术状态数据,现有的监控信息存储方式主要依赖基于磁盘阵列的硬件设备(RAID,redundant array of in
随着虚拟现实技术的不断发展,人们已经不再满足于简单的视觉体验,而逐渐兴起具有交互功能的虚拟现实系统。目前,存在的具有交互功能的虚拟现实系统大多数是用户和虚拟物体进行交互,或者多个用户在同一场景中进行交互,但是看不到人的身体。这两种交互的方式都会大大降低用户的沉浸感,本文根据目前虚拟现实系统存在的弊端开发了一套基于动作捕捉的交互式虚拟现实系统,该系统用户不仅可以和虚拟物体进行交互,还能与虚拟人进行交
作为审判活动最终产品的裁判文书包含了丰富的信息,通过对其进行命名实体识别,可以为裁判文书知识图谱的构建打下基础。目前,在裁判文书的研究中已开发了一些语料,但这些语料标注的实体并不全面,对于本文所关注的行业和标的物实体目前还没有公开的相关语料。此外,由于没有专门针对裁判文书的分词工具,导致分词的质量不高,从而影响命名实体识别的效果。因此,本文主要研究基于字符的裁判文书命名实体识别,以避免分词错误带来
随着铁路的高速发展,列车时速提升、运营负担加重以及恶劣自然环境的影响,钢轨容易产生不可逆转的损伤,并产生越来越多的缺陷。由于传统人工巡检效率低、主观性强,超声波检测法、磁粉法、电涡流检测法的仪器造价高且精度低,基于机器视觉的轨道缺陷检测方法应运而生,成为近年来的研究热点之一。机器视觉检测技术具有高精度、低成本、实时性等优势,拥有广阔的应用前景。本文基于实验室采集整理的钢轨图像数据集,进行了钢轨表面
本论文来源于本人在工作单位实际生产过程中的作业环境及作业模式,通过对工作经验的归结所得出的一系列对现有的作业环境及作业模式进行系统管理的优化。铁路作业中备品备件是关系到铁路维护乃至运输安全的重要器具,由于备品备件在生产作业中性能的降低或是遗落在作业地点,所引发的故障处理延时甚至是威胁行车安全的潜在危险因素,因此铁路部门对备品备件的维护管理都非常重视。铁路作业备品备件管理系统是现代企业信息化的重要部
三维测量在工业生产等领域有着重要的应用。随着数字投影技术的发展,结构光三维测量技术以非接触,高精度的优势逐渐成为主流的三维测量技术。在结构光测量系统中,采用投影仪作为主动光源投影编码图案,相机采集被测物体投影成像计算三维信息,因此相机成像质量是影响三维测量的重要环节。在测量高动态范围表面时,平滑表面发生镜面反射导致图像高光,降低图像质量;而反射率差异较大的物体表面超出了相机的动态范围,导致物体成像