【摘 要】
：
场景分类旨在通过周围环境背景信息对所处场景进行分类,是环境监测任务的重要环节。针对真实的环境场景容易同时出现多种事件从而生成干扰信息对场景分类精度造成影响,本文提出了一种基于自注意力机制的多模态场景分类系统,该系统联合早期融合和注意力机制对视听特征进行双重融合,从而有效提升场景分类性能。本文的主要工作如下:（1）针对单模态信息单一、片面的局限性,本文使用注意力机制对视听特征进行多模态融合。由此提出
论文部分内容阅读
场景分类旨在通过周围环境背景信息对所处场景进行分类,是环境监测任务的重要环节。针对真实的环境场景容易同时出现多种事件从而生成干扰信息对场景分类精度造成影响,本文提出了一种基于自注意力机制的多模态场景分类系统,该系统联合早期融合和注意力机制对视听特征进行双重融合,从而有效提升场景分类性能。本文的主要工作如下:（1）针对单模态信息单一、片面的局限性,本文使用注意力机制对视听特征进行多模态融合。由此提出了一种基于注意力机制的双模态互相辅助决策的场景分类系统,实验结果表明,模态间信息互相补充学习后能够有效提升场景分类性能。（2）在前序工作的基础上,对视听特征增加一次早期融合,然后再使用自注意力机制进行深层融合,从而研究经双重融合学习之后,场景分类性能的变化情况。实验结果表明,该种模型多模态特征捕获性能较优,并在DCASE Challenge 2021 Task 1B竞赛中取得了较好的成绩。实验结果由分类准确率进行评估,本文所提出的基于自注意力机制的多模态场景分类系统在TAU Urban Audio Visual Scenes 2021数据集上取得了90.26%的场景分类准确率,相较于基线系统实现了场景分类性能的大幅度提升。
其他文献
因单光子雪崩二极管（Single Photon Avalanche Diodes,SPAD）高灵敏度、高速、高增益的特点,使得基于SPAD的光子飞行时间（Time-of-Flight,TOF）激光雷达探测具有成像速度快、分辨率高、灵敏度高等潜在优势,并成为现如今倍受关注的一种雷达探测技术,具有广阔的应用前景。然而TOF读出电路作为SPAD激光雷达探测器的重要组成部分,目前仍然存在集成度低、探测范围
第一部分:宫内高雄激素暴露大鼠模型的建立及子代大鼠心脏结构和功能学检测研究目的:研究宫内高雄激素暴露对子代大鼠心脏结构和功能的影响。研究方法:宫内高雄激素暴露大鼠模型的建立。随机选取10只孕鼠对照组,于妊娠15-19天每日颈背部皮下注射玉米油0.5mg/kg/day;另选取10只孕鼠为高雄激素暴露组,于妊娠15-19天每日颈背部皮下注射丙酸睾酮油0.5mg/kg/day,两组均连续注射药物5天,在
目的:口腔鳞状细胞癌（OSCC）是头颈部肿瘤中是最为常见的类型之一,局部复发、颈部淋巴结转移及较晚的临床分期被认为是引起不良预后的主要原因。白介素-17（Interleukin-17）作为肿瘤炎性微环境的重要组成部分,在多种恶性肿瘤中的重要作用已被证实,已有研究发现在OSCC中,IL-17由存在于肿瘤微环境中的多种细胞所分泌,并对OSCC的侵袭、转移发挥重要作用,但目前尚缺乏其详细机制的报道。既往
研究目的口腔颌面部因肿瘤、外伤等因素造成的骨缺损将严重影响语言、进食等生理功能,传统的自体骨移植修复骨缺损会存在二次损伤、骨量不足等缺点。近年来随着骨组织工程领域的迅猛发展,人工骨修复材料应用于骨组织缺损的修复与再生得到了广泛而深入的研究,良好的骨修复材料不仅要有优良的生物相容性,还应具有可以模拟天然细胞外基质的三维纤维网络结构。因此,本研究充分发挥丝蛋白（SF）天然高分子材料以及静电纺丝技术的优
随着人工智能（Artificial Intelligence,AI）技术的快速发展,语音情感识别技术已经成为当前的研究热点。在语音情感识别技术中,情感特征的区分性和分类器模型的鲁棒性是影响系统性能的主要因素。为了提升语音情感识别系统性能,本文从提取高区分性的情感特征和构造鲁棒的分类器模型两个角度出发,提出了基于多尺度特征融合和多任务学习的语音情感识别方法以及基于决策树CNN和多任务学习的语音情感识
智能反射面（Intelligent reflecting surface,IRS）作为一种具有低硬件成本和功耗的可重新配置无线通信环境的技术受到人们的广泛关注。但是应用IRS实现智能可重构环境的前提是获取准确的信道状态信息（Channel State Information,CSI）,而在IRS辅助的大规模多输入多输出（Multiple Input Multiple Output,MIMO）系统中
化疗耐药仍是复发性儿童急性淋巴细胞白血病（acute lymphoblastic leukemia,ALL）治疗失败和患儿死亡的主要原因。基因组学及临床相关分析报道,TP53突变在驱动儿童ALL耐药复发中发挥重要作用。本课题将临床分析与基础研究相结合,探讨了不同TP53突变在复发性儿童B细胞ALL（B-ALL）化疗耐药中的作用及其耐药机制,并试图探索有效治疗策略。本研究搜集了53例TP53突变的复
媒体行业属于文化领域非常重要的领域,特别针对电影媒体来说,它对中国文化的蓬勃发展起着重要的影响作用。由于我国政府对文化宣传领域的宏观政策支持,电影宣传方面的企业也在短期内取得了可喜的业务成果,营业面积也不断扩大,精彩的影视作品也层出不穷。而在技术开发日益规范化,规模化的今天,传播网络的发展也有了新的保障,而竞争也越发白热化。电视媒体公司若想取得长期的发展,需要从战略的高度对公司的运作现状加以分析与
近年来,电商平台的迅猛发展引领了大众消费方式的升级变革,使得购物方式更加便捷化,但电商平台在方便购物的同时,同样也存在一些问题:一方面,由于电子商务网络平台上的商品种类多、数量大,当用户面临网络平台上的海量产品,往往很难迅速发现心怡的产品。另一方面,电商平台也想为用户提供个性化的商品推荐,提升用户体验,方便用户的同时提高“成单率”。推荐算法作为一种计算机算法,可以通过一些数学方法,推测出用户喜欢的
工程建设管理系统主要面向工程建设现场管理需求,实现人员、设备、物资和工程进度等基础数据的快速采集、分析处理和综合应用,促进工程建设任务的科学组织、高效调度和安全运行,提升人员工程效率,帮助企业降本增效。本文首先分析工程建设涉及到的产品到货、现场安装、质量控制以及售后维修等各项环节和节点,明确系统需求和设计目标。在此基础上,利用公司原有的软件平台,借助最新的阿里云服务器,进行系统的总体设计,实现系统