【摘 要】
：
Transformer是基于自注意力机制的编码器-解码器架构模型，擅长建立远距离依赖关系，已经成为自然语言处理领域的主流模型.受Transformer在自然语言处理领域中取得巨大成功的启发，近两年一些开创性的工作开始研究如何将Transformer应用于计算机视觉领域，并取得了显著的成果，目前视觉Transformer依然是研究的热点.本文对近年来Transformer在多个视觉任务上的应用与发展
【基金项目】
：
国家自然科学基金项目（62276274）资助； 陕西省自然科学基金项目（2020JQ-490）资助； 航空科学基金项目（20181U8012）资助；
论文部分内容阅读
Transformer是基于自注意力机制的编码器-解码器架构模型，擅长建立远距离依赖关系，已经成为自然语言处理领域的主流模型.受Transformer在自然语言处理领域中取得巨大成功的启发，近两年一些开创性的工作开始研究如何将Transformer应用于计算机视觉领域，并取得了显著的成果，目前视觉Transformer依然是研究的热点.本文对近年来Transformer在多个视觉任务上的应用与发展进行梳理、分析与总结.首先阐述了视觉Transformer基本结构与实现原理，分析了模型结构的特点与优势，梳理了视觉Transformer的研究进展.其次，介绍了Transformer在高层视觉任务、底层视觉任务和多模态任务上的典型应用模型，并详细对比了在图像分类、检测和分割领域典型视觉Transformer模型的性能指标.最后总结了当前视觉Transformer各类模型存在的问题与难点，并指出未来的发展方向.
其他文献
在无人机进行目标检测过程中，原始SSD（Single Shot Multi Box Detector）算法存在特征图利用率低和小目标检测率低的问题。分析研究不同算法的优缺点后，提出改进型SSD算法。设计一种特征图融合模块，在不过多增加计算量的情况下，将包含更多位置、纹理信息的低层特征图和语义性较强的深层特征图进行融合。同时通过引入IoU（Intersection over Union）值对SSD算
本文通过对卷烟仓储上下游流程全面研究,精准把控各节点的难点、堵点和痛点,提出了前置共库、精准协同的管理思路,提升烟草仓库利用效能,实现物流仓储环节降本增效。
本试验旨在探究饲粮中添加不同水平美藤果油对蛋鸡生产性能、蛋品质以及蛋黄中ω-3多不饱和脂肪酸（PUFA）与维生素E富集的影响。选取40周龄健康、产蛋率和体重相近的海兰褐蛋鸡450只,随机分为5个组,每组6个重复,每重复15只。对照组饲粮中添加0.67%的玉米油,亚麻籽油组（FO组）饲粮中添加2.0%的亚麻籽油,其他3组饲粮中分别添加2.0%(SO2.0组)、2.5%(SO2.5组)、3.0%(SO
以安徽怀远“白花玉石籽”石榴为材料，探索了不同的干燥方法 （自然晒干、烘箱烘干和微波烘干）对石榴皮外观的影响，并研究了不同干燥方式对石榴皮中单宁提取及抑菌效果的影响。结果表明，自然晒干对石榴皮的外观影响最小且单宁提取含量最高（21.37%±0.02%），微波烘干的石榴皮的单宁提取含量最低（19.73%±0.01%），烘箱烘干的石榴皮单宁提取含量居中（20.88%±0.01%）。从3种干燥处理石榴皮
行人目标检测作为一种重要的目标检测应用，在自动驾驶，视频监控等领域取得了广泛的关注。但是由于基于深度网络的算法模型规模较大，需要强大的GPU算力支撑，导致该检测算法在嵌入式平台应用空间受限问题。现使用MobileNetV2轻量化网络代替传统的VGG网络进行特征提取，对SSD（Single Shot Multi-Box Detector）模型进行优化，实现减小模型规模，加快检测速度的目的。同时，通过
运用案例分析的方法，对制造业企业中具有代表性的上海电气集团的数字化转型问题进行研究。通过梳理上海电气数字化转型的进程，进一步分析进行数字化转型的内外部驱动因素，归纳出传统制造业企业进行数字化转型的路径，主要包括：变革商业模式，从传统制造向智能制造转型；以制造中心为枢纽，打造贯通全链条的数字化场景；数字孪生技术的应用；构建工业互联网平台，加速数字化转型等。通过对上海电气的数字化转型问题进行研究，可以
国有经济是国民经济的根基,国有企业主导国有经济的发展,当前国有企业正面临混合所有制改革的重大机遇与挑战,成功进行混改是国有企业激发企业活力、提升企业绩效的关键。专营制度作为我国国有企业发展初期实施的主要政策,随着时代的发展与进步也经历着深刻的变革,其中以盐业为代表的专营产业与人们的生活息息相关,首当其冲成为人们关注的对象。在我国混合所有制改革进一步深化的重要阶段,盐业体制改革的实施决定了混合所有制
传统制造业正面临着一个迅速变革的时代，消费者需求多元化和个性化，互联网与传统制造业的融合势在必行。本文通过文献查阅、实地调查和访谈等方法，梳理重庆ABB江津企业的公司背景、公司产品和服务；利用PEST模型、波特五力模型和SWOT模型等理论系统分析重庆ABB江津企业的内外部环境因素变化、新产品与新技术的发展，以及这些变化对企业数字化转型业务的影响；最后提炼企业数字化转型实现路径，以推动ABB重庆江津
针对SSD目标检测算法对小目标检测精度不高的问题，提出一种多尺度特征融合的改进SSD小目标检测方法。通过在SSD特征层中增加一个特定大小的池化特征层，增强浅层网络关于小目标的位置与细节信息。在网络结构基础上引入空洞卷积与转置卷积，并将浅层网络特征图与深层网络特征图进行特征融合，在提高浅层特征层感受野的同时增强小目标信息提取能力。应用注意力机制模块提高对关键信息的检测。通过实验给出改进方法在PASC