基于标签语义和Transformer的元学习小样本目标检测方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:shanchy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于小样本学习的目标检测方法,旨在使用少量带标签的数据使目标检测模型获得较好的检测效果。本文主要在基于特征重加权的小样本目标检测方法(Few-shot object detection via feature reweighting,FODFR)之上展开工作,FODFR是将元学习小样本学习方法与YOLOv2目标检测模型相结合的小样本目标检测方法。本文在FODFR的基础上充分利用类别标签之间的语义关联性,并充分挖掘图像中的信息以提升仅有少量带标签样本的目标检测效果。主要工作如下:(1)提出一种基于空间位置信息和特征重加权的小样本目标检测方法。针对FODFR在进行特征重加权时,仅对特征的通道维度进行调整,忽略了目标空间信息的问题,本方法利用包含空间位置信息的元特征对特征进行空间维度的调整,增强目标区域特征的判别性。其次,针对FODFR的特征提取器在将浅层特征融合到深层特征时,存在浅层特征的目标完整性被破坏的问题,本方法利用多个不同尺度的浅层特征,使用卷积和池化操作改变浅层特征的尺寸,然后将其融合到深层特征中,保留了浅层特征的目标完整性。通过在PASCAL VOC数据集上进行消融实验表明本方法的有效性,通过对比实验表明本方法优于原始的FODFR方法,在10 shot条件下,mAP提升了1.7%。(2)FODFR在学习基类和新类的元特征时,针对没有充分利用基类和新类类别的关联性,导致新类的元特征表达能力较差的问题,提出一种基于标签语义和特征重加权的小样本目标检测方法,本方法先使用类别标签的语义信息计算出基类和新类类别之间的关联性,然后根据基类和新类之间的关联程度,使用图卷积网络将基类的元特征传递给新类的元特征,使在只有少量新类数据的情况下学习到较好的新类元特征。通过与FODFR等方法的对比实验表明,本方法提升了新类目标的检测效果,在10shot条件下相比FODFR方法,mAP提升了0.5%。(3)针对FODFR中由于新类样本少,有监督信息不足而导致检测精度低的问题,提出一种基于Transformer和特征重加权的小样本目标检测方法,本方法设计了一种新的位置编码方法,将二维图像特征切块并转换为一维序列的形式,然后利用Transformer模型的自注意力机制充分挖掘图像自身所包含的信息,进而赋予各个特征块不同的注意力,突出样本特征中关键性区域,从而增强特征的判别性,提升检测效果。通过在PASCAL VOC数据集上的对比实验表明,本方法优于FODFR方法,在10shot条件下,mAP提升了1.9%。
其他文献
氮素是影响作物生长的重要限制因素之一,适量施氮可显著提高作物产量。但是不合理施氮会造成土壤酸化、土壤质量和肥力下降、地下水硝酸盐超标、温室气体排放增加等环境问题。旱地约占我国国土总面积的70%,旱作农业对保障我国粮食安全至关重要。冬小麦-夏玉米是我国重要的粮食作物,合理施用氮肥,提高旱地冬小麦-夏玉米产量,解决粮食安全问题,同时满足环境的可持续发展具有重要意义。因此,本研究以旱作冬小麦-夏玉米轮作
本研究以构建边坡近自然植被为目的,首先通过调查珠三角边坡近自然群落及其植物组成,筛选用于边坡近自然植被恢复的先锋植物和优势植物,在此基础上搜集植物的基本生物学信息与种子繁殖、贮藏信息等,建立这些乡土先锋植物、优势植物种子数据库。其次,针对2种未见报道乡土先锋植物开展了种子萌发室内试验和9种乡土先锋植物、优势植物的种子萌发试验,并从中选择5种植物进行夏季混播组合试验,筛选出适合珠三角气候的夏季混播组
“十一五”至“十三五”期间,贵州省经济取得了前所未有的发展,贵州省2006年的GDP值为2000万元,2019年的值已经可以达到1.7亿元了,在这15年期间,贵州省的GDP提升了7倍有余。城镇居民的人均可支配收入在2006年的时候只有9117元,到2019年的时候已经提升到了34404元,上升了近4倍;农村居民的人均可支配收入在2006年的时候只有1985元,在2019年的时候上升到10756元,
发展高效空穴传输材料是提升钙钛矿太阳能电池光伏性能与稳定性的有效途径。Spiro-OMe TAD是目前钙钛矿太阳电池器件中作为基准空穴传输材料而被广泛研究。Spiro-OMe TAD结构中的3D螺二芴核心提供较大的空间位阻,在旋涂加工成膜时,有效防止大的结晶域的形成,但其却面临着本征空穴迁移率低、合成成本高和自身稳定性差等诸多问题。为了进一步明确分子结构与自身性能及相应器件性能之间的关系,众多Sp
学位
本研究的目的在于通过使用FMS测试河北省青少年篮球运动员的功能运动表现,进而分析判断运动员的基本运动动作能力和身体功能的不对称性,有利于教练员采取有效的评估模式对青少年的基本动作模式进行评估,并纠正可能的功能障碍,对预防潜在的运动伤害发生,提高青少年篮球运动员科学化训练具有重要的实践意义。研究采用FMS测试的方法获得河北省青少年篮球运动员完成FMS测试7个动作的得分,并进行统计学分析与评价,研究结
当代大学生心理健康教育是全面素质教育的重要工作,其中逆商水平是影响大学生身心健康发展的重要因素。本研究通过文献资料法、测量法、数理统计法,选择长春市吉林大学517名大学生为调查对象,对体育锻炼对大学生逆商的影响进行了研究,研究重点统计分析了当前大学生体育锻炼、逆商的总体情况,并在此基础上定性与定量分析了体育锻炼对大学生逆商的影响。研究认为:(1)大学生体育锻炼以中小运动量为主。体育锻炼多为每周1至
学位
曲轴是汽车发动机中的核心旋转零件,其作用是承受冲击载荷以及传递动力。曲轴在运转工作时的条件极其恶劣,如果曲轴发生了损坏,可能会导致严重的交通事故。传统成形工艺具有一定的局限性,亟需探求一种高效、节能的新型成形技术。因此,本论文提出一种复合成形曲轴技术,即:轧锻复合成形——楔横轧制坯和模锻成形曲轴的复合技术。本论文的研究对象是双缸曲轴,设计了双缸曲轴的板式楔横轧制坯模具及模锻模具,建立有限元模型,基
杂环是极为重要的一类化合物,因其丰富性和多样性,被广泛的运用于农用化学品、染料、建筑以及食品加工等生活生产的各个领域,最为突出的是在医药方面的作用,现市售药物70%以上都含有一个杂环单元。虽然杂环结构广泛存在于天然产物和药物中,但其需求量极大,因此通过化学方法合成杂环一直受化学家们的青睐,然而[4+1]环加成反应是构成五元杂环化合物最快捷简单的方法之一。因此,发展高效绿色的策略合成五元杂环化合物是