【摘 要】
：
近年来，视觉Transformer在图像分类、目标检测、图像生成等领域都表现出了惊人的潜力，然而其性能的提升依赖于网络的参数量，从而导致其应用场景受限。本文从神经学得到启发，创新性地提出将人脑神经元之间的循环结构应用在视觉Transformer（Vision Transformer，ViT）上。文中首次从黎曼几何的角度解释了循环结构生效的工作原理，之后以Token-to-Token Transfo
【基金项目】
：
中国国家自然科学基金项目（62272192）； 吉林省科技发展计划项目（20210201080GX）； 吉林省发改委项目（2021C044-1）； 中国国家留学基金管理委员会对蒋磊、崔振宇、王子其在莫斯科国立大学读博期间提供了资助；
论文部分内容阅读
近年来，视觉Transformer在图像分类、目标检测、图像生成等领域都表现出了惊人的潜力，然而其性能的提升依赖于网络的参数量，从而导致其应用场景受限。本文从神经学得到启发，创新性地提出将人脑神经元之间的循环结构应用在视觉Transformer（Vision Transformer，ViT）上。文中首次从黎曼几何的角度解释了循环结构生效的工作原理，之后以Token-to-Token Transformer（T2T Transformer）为主干框架提出了基于循环结构的视觉Transformer。实验结果表明，循环结构的引入能在视觉Transformer参数量基本不变化的情况下大幅提高其性能：使用循环结构后，在Imagenet分类数据集下网络仅增加了0.14%的参数，但带来了9%的分类精度提升。在目标检测任务中，增加0.1%的参数带来了10.7%的性能提升。
其他文献
朗格汉斯细胞组织细胞增生症（Langerhans cell histiocytosis,LCH）在临床上以颅骨多见，较少发生于下颌骨。本文报告以下颌骨病变为首发症状的儿童多灶性LCH 1例，并结合文献探讨LCH的病因、临床病理表现、诊断及治疗。
根据铸造工艺原理和工作经验，预先设计A、B两种浇注和补缩系统相对可行的工艺方案。通过对A、B两种不同工艺进行充型凝固模拟分析，发现方案A优于方案B。研究确定最终方案为对方案A加大冒口补缩梯度进行补缩系统工艺优化。通过生产样件，经尺寸检测、磁粉探伤检查及断面解剖和精加工、装车验证，均满足产品使用要求。
＜正＞众所周知,阅读与写作是初中语文教学活动的主体构件,阅读与写作作为语言输入与输出,二者互为表里,不可分割。在记叙文写作教学活动开展中,我们需要打破传统写作教学中读写分离的情况,以阅读为基础,引导学生在读后写出文质兼美的文章。在本文中,我主要就初中语文记叙文的写作侧重所在以及如何结合读写结合方式组织记叙文写作进行详细说明。
习近平总书记曾强调:“我们要在全社会大力弘扬家国情怀,培育和践行社会主义核心价值观,弘扬爱国主义、集体主义、社会主义精神,提倡爱家爱国相统一,让每个人、每个家庭都为中华民族大家庭作出贡献。”2019年中共中央、国务院颁发《新时代爱国主义教育实施纲要》,提出要“厚植家国情怀,培育精神家园,引导人们坚持中国道路、弘扬中国精神、凝聚中国力量”。这充分表明,进入新时代,家国情怀对于个人发展、社会进步和民族
传统建筑电气设计将设计内容分为强电和弱电，《2016年建筑工程设计文件编制深度》规定将弱电改称为智能化，将智能化设为专项设计，之后建筑电气与智能化设计完全分开。设计施工过程中简单切割建筑电气和智能化设计，而又缺乏统筹控制措施将造成许多问题。基于EPC设计管理角度，对建筑电气设计和智能化专项设计进行统筹协调控制，以达到建设绿色建筑目标。
“即兴曲”产生于19世纪欧洲浪漫乐派时期，是一种格调典雅且精致，带有即兴创作特点的乐曲，由作曲家在没有任何准备的情况下进行即兴弹奏，利用相应的演奏技巧而创作出的音乐作品，其多为钢琴独奏曲，即兴曲创作的代表人物为舒伯特和肖邦。即兴曲不仅表达了创作者当时的内心感受，也具有独特的风格，是作曲家一时灵感的流露。肖邦的《幻想即兴曲》作为至今依然深受广大音乐爱好者喜爱的乐曲，写于作曲家创作的成熟阶段，通过有效
多元文化素养对于涉外护理专业学生至关重要。临床护理工作中,在护理外籍病人的时候,不仅会听到"不同语言",也要面对"不同文化"、不同生活方式和不同的思维方式等。涉外护理专业的学生应该在建立本土文化的基础上,在实践中让学生充分理解并学习不同国家文化以及习俗,才能更好地完成护理的本职工作。文章旨在研究国际交流背景下高职涉外护理专业多元文化实践课程,制定帮助涉外护理专业学生提升多元文化素养的有效实践活动。
近年来，低成本、长寿命、高生产效率是复合辊技术的主要发展方向。列举了一些典型的离心铸造复合辊的工业部件，如双金属复合轧辊、磨辊辊环，并对国内外不同工艺、不同材料的辊环性能进行对比，发现离心铸造复合辊性能优良、寿命高，在水泥、矿山行业中得到广泛使用。综述了复合辊的材料选择以及技术发展，指出采用球墨铸铁、高铬铸铁、高锰钢、高速钢等多种材料复合的方式可以提高不同工况下工件的使用寿命，降低成本。总结了冷却
＜正＞当前人才创业创新能力的培养直接关系到我国社会主义现代化国家建设战略的稳定推进。毕竟，科技是生产力，而创新型人才是推动科技发展的决定性因素。为制定更加科学的创新型人才培养方案，就有必要针对性地对当前创新创业总体环境和行业生态进行调研，摸清市场产业结构变动的逻辑，主动满足各行业对创新型人才的准确需求，进而确定相关行业人才培养的具体方案。拿环保工程专业的创新人才培养来说，要对专业人才培养方案进行优
近年来,随着智能交通网络的不断发展,人们对智能驾驶提出了更高的要求。智能汽车作为现代智慧交通的载体,在智慧出行、交通安全、节能环保方面扮演着极其重要的角色。驾驶员模型作为智能辅助驾驶系统的关键一环,不断创新其研究内容,提高其仿真精度,完善其测试方法都具有重要的意义。随着驾驶员模型的不断发展,传统的模型已经不能满足室内测试和辅助驾驶系统设计的需要,国内很多企业和研究院都在致力于研究驾驶风格与自动驾驶