基于多模态融合的艺术品分类方法研究

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:ssdkln
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国艺术策展领域的发展,策展库中的艺术品资源逐渐增加。艺术馆藏系统需要经常更新策展库,传统的分类归档往往依赖于人工实现,耗费大量时间。通过人工智能技术实现艺术品的自动分类,可节省人工筛选分类及归档的时间和精力,保证策展库的及时更新。艺术品分类的数据模态主要有文本和图像两类,为了综合考虑所有模态特征的优势,本文提出了一种基于多模态融合的艺术品分类方法。首先提出一种基于自注意力机制的艺术品文本分类方法,然后构建了一种基于视觉Transformer的艺术品图像分类模型,最后基于不同模态的艺术品分类模型,采用决策级融合实现多模态融合艺术品分类。通过实验对比改进前后的单模态分类方法及多种使用预定义决策规则的融合方法,结果显示该方法可实现更准确的艺术品分类,验证了本文提出的基于多模态融合的艺术品分类方法的有效性。论文主要工作如下:(1)针对文本模态的数据,提出了一种结合局部卷积和全局注意力的建模方法,以提升对艺术品文本的分类能力。艺术品样本的阐释文本数据过于冗长,包含的信息过多,文本卷积模型(Text CNN)建模过程缺乏对关键信息的关注,导致分类精度不高。针对这一问题,在词嵌入层后增加注意力计算,对每组特征图分别进行自注意力计算,赋予关键特征更大的权值,降低非关键特征对分类结果的干扰,从而达到增强语义信息以提升艺术品分类精度的目的。(2)针对图像模态的数据,提出了一种基于Transformer框架的艺术品图像分类方法,结合纹理信息提升图像数据艺术品分类准确性。视觉Transformer模型(Vi T)图片序列化过程中损失了相邻图片块之间的纹理信息。针对这一问题,本文在原始图片分割为多个图片块序列化的过程中改变滑动步长为图片块的一半,以保留图片块邻接位置的纹理信息,结果表明该方法能加快模型的收敛速度且能够达到更优的图像分类效果。(3)针对多模态的数据,提出了可学习权重的设计,对两个模态分类器的预分类结果进行融合,提升艺术品分类精度。文本和图像数据包含的信息对于提升艺术品分类的准确性起相互促进的作用,本文基于多模态融合的方式,通过对文本和图像分类器赋予可学习权重设计决策级融合网络,提升艺术品类别预测精度。通过对比改进前后的单模态分类方法及多种使用预定义决策规则的融合方法,实验表明本文提出的决策级多模态融合方法能有效应用于艺术品分类研究。
其他文献
聚合物制品产量大、用量广,在国民经济中占有重要地位。聚合物材料易于生产和加工,但单一的聚合物材料使用时会有各种各样的缺陷,往往需要混入添加剂以提高其宏观性能。其中,添加剂在聚合物基体中的分散程度及其与基体的相互作用直接决定了聚合物复合材料的性能。因此,对聚合物基复合材料中有机添加剂的分布情况及实时监测具有重要意义。在本工作中,我们以低密度聚乙烯(LDPE)和氨基硅油(ASO)共混作为有机-有机聚合
学位
报纸
化学剂量计(Chemodosimeter)能够通过特异性化学反应以不可逆方式传递信号并识别分析物,具有极高的选择性和灵敏度,近年来广泛应用于探针设计。以多巴胺和间苯二酚反应形成四环荧光素(azamonardine)的特异性反应为基础的化学剂量计已被开发并应用于分析检测。然而,实际生物样本中的多巴胺含量常在10 n M以内,因此,提高多巴胺检测的灵敏度对生化多巴胺分析有重要意义。基于四环荧光素反应,
学位
过渡金属催化1,2,3-噻二唑与不饱和体系的[3+n]环交换反应是高效构建多取代硫杂环的重要方法,在近年来备受青睐。目前对这类反应的研究仍存在三个迫切需要解决的问题:(1)探寻可以与1,2,3-噻二唑环交换的底物以构建新的硫杂环化合物;(2)解决这类反应中可能伴随的立体化学问题;(3)求证反应关键中间体存在形式以解释和预测反应结果。本论文致力于以上问题的研究,取得了以下成果:一、实现了1,2,3-
学位
目前,利用太阳能模拟植物光合作用,将CO2转化为高附加值化学品是解决温室效应和能源危机的有效方法之一。然而,目前光催化CO2还原在提高太阳能光谱利用率以及氧化端的有效利用方面还面临着诸多挑战和机遇。水滑石材料(LDHs)作为一类二维材料,具有合成过程简单、主体层板元素可调和层间阴离子可调等特性,在光催化CO2还原反应中展现出了独特的优势。本课题通过将LDHs和其他材料组装,制备了一系列具有较高催化
学位
聚合物与小分子之间的相互作用广泛应用于生物制造、化妆品和工业生产等领域,因此,聚合物与小分子相互作用研究具有重要意义。在众多聚合物中,超支化聚乙烯亚胺(h PEI)因具有三维网状结构、高反应活性、高正电荷密度和强吸附性等特性,被广泛用于表面吸附、基因运载以及纳米材料合成等。然而h PEI与小分子之间的相互作用研究主要基于Zeta电位、p H、粒径和黏度等分析技术,难以直观、快速地反映其过程。由此,
学位
电解水制氢可以有效解决“能源危机”和“环境污染”两大问题,但由于阴阳两极处的析氢(HER)和析氧(OER)反应过电位高、动力学缓慢,且用于这类反应的贵金属基催化剂的高成本和低耐久性等缺点影响了其商业应用。近年来,碳包覆的过渡金属基纳米材料(TM@C)在电催化中表现出优异的竞争力。但制备具有高纯度、高分散、大比表面积和高表面活性特征的TM@C催化剂具有极大的挑战性,迫切需要开发新技术以实现TM@C催
学位
绿水青山就是金山银山,然而,由于人为原因及地质变化,环境污染问题日益凸显,已对人类身体健康造成严重威胁,尤其是土壤重金属污染和水体富营养化,已成为绿色发展过程中亟需解决的重点问题。由于重金属离子在自然循环过程中的不可生物降解性、易富集性和高毒性等特点,对动植物及人类自身均具有很大的危害性,尤其土壤重金属污染,其通过食物链已对人类健康构成严重威胁;此外,水体富营养化不仅会使水质恶化,还会使水生动物缺
学位
聚合物材料具有质轻、价廉、韧性好、易大量生产及性能可控等优点,广泛应用于医疗、建筑、电子和航空航天等重要领域中。然而,由于聚合物材料可持续性不足而产生大量废弃产品,并进一步伴随着材料降解问题,加重了生态环境负担,威胁着人类及其他生命体的健康。因此,实现聚合物的可持续发展是解决当下环境污染问题的必然要求。为了解决聚合物材料可持续发展中的难题,本工作中将二维层状双金属氢氧化物(LDHs)引入聚合物基体
学位
苯炔作为具有亲电活性的有机中间体,可参与多种化学反应,包括多组分反应、环加成反应、插入反应等。近年来,苯炔化学取得许多突破性进展,受到了科学家们的广泛关注,在制备取代芳烃领域具有广泛的应用。五价氧膦化合物可应用于农药化学、配位化学以及生物化学等众多领域。二芳基氧膦作为有机磷化学的一类重要试剂,可通过自由基反应、离子型反应以及金属催化偶联反应构筑多类含有氧膦双键骨架的化合物。然而前期文献显示,二芳基
学位