【摘 要】
：
注意力被广泛地运用在卷积神经网络中,并有效地提升了卷积神经网络的性能。同时,注意力是非常轻量的,且几乎不需要改变卷积神经网络原来的架构。提出了基于HardSoftmax的并行选择核注意力。针对Softmax包含指数运算,对于较大的正输入很容易发生计算溢出的问题,提出了计算更安全的HardSoftmax来替换Softmax。不同于选择核注意力将全局特征的提取和转换放在特征融合之后,并行选择核注意力将
【机 构】
：
南昌大学 信息工程学院,南昌 330031;南昌大学 软件学院,南昌 330047;江西省智慧城市重点实验室,南昌 330047
论文部分内容阅读
注意力被广泛地运用在卷积神经网络中,并有效地提升了卷积神经网络的性能。同时,注意力是非常轻量的,且几乎不需要改变卷积神经网络原来的架构。提出了基于HardSoftmax的并行选择核注意力。针对Softmax包含指数运算,对于较大的正输入很容易发生计算溢出的问题,提出了计算更安全的HardSoftmax来替换Softmax。不同于选择核注意力将全局特征的提取和转换放在特征融合之后,并行选择核注意力将全局特征的提取和转换单独放在一个分支,与具有不同核大小的多个分支构成并行结构。同时,并行选择核注意力的全
其他文献
虚拟实体是数字孪生五维模型中重要的组成部分,其行为模型描述了物理实体在外部环境与内部运行机制作用下的实时响应及行为.针对离散制造车间数字孪生虚拟实体行为模型缺乏统一描述与精确定义的难题,提出一种使用基于值的离散事件系统规范(VDEVS)对行为模型进行描述的方法.在原有数字孪生五维模型基础上定义了数字孪生车间虚拟实体分层模型,实现了其与数字孪生车间物理实体的一一映射.通过对传统离散事件系统仿真规范(DEVS)进行扩展提出了VDEVS,从而更加精确地描述离散制造车间复杂系统级、系统级、单元级虚拟实体的行为.最
针对使用模型初始权重随机设定的神经网络模型进行不相关多源频域载荷识别时训练效率低、精度低的问题,提出一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法.首先,利用某频率点的历史数据对不相关多源载荷识别的多输入多输出神经网络模型进行训练;其次,将该频率下的神经网络的模型参数迁移到相邻的目标频域的神经网络中作为网络权值的初值;再次,利用目标频率的历史数据对神经网络进行微调训练,从而得到目标频率的不相关多源频域载荷识别模型;最后,将该频率的训练好的神经网络的模型参数迁移到下一个相邻频率的模型,循环该过程
盘库作业是各工业企业进销存系统中的重要环节,针对目前人工盘库工作效率低、容易出错等缺点,近年来出现了无人机搭载高精度便携式射频识别阅读器进行库存盘点的技术。其中,航迹规划是需要解决的关键问题。为减少能耗并提高盘库效率,以能效比最低以及时效比最小为目标来构造目标函数,建立了相应的无人机航迹规划数学模型,提出一种基于生命周期群搜索的混合差分进化算法。利用某烟草工业企业原辅物料仓库的实际环境数据进行物理
为了改善遗传算法的性能,提出一种基于机器学习的多策略并行遗传算法,使用机器学习方法改善遗传算法性能.首先,利用并行思想加速遗传算法进化过程,使用K均值聚类算法将初始种群划分为多个簇,然后将相似个体均匀分配给不同的子种群,保证子种群的多样性和均匀性;同时,在进化过程中,使子种群间相互通信,使用优秀个体替换其他种群中的较差个体,提升种群整体质量.然后,引入能自主感知环境的强化学习,实现遗传算法中重要参数交叉概率的自学习,使交叉概率根据经验适应进化过程.最后,通过函数实例测试验证了基于机器学习的多策略并行遗传算
针对具有符号有向图的一阶多智能体系统,研究了其固定时间二分一致性问题.为降低控制过程中多智能体系统的能量损耗,提出了一种基于事件触发机制的分布式控制协议.以图论和李雅普诺夫理论为主要研究工具,给出了多智能体系统在所设计控制协议作用下实现固定时间二分一致性的充分条件和与系统初始状态无关的收敛时间上界,并证明了使用该协议可以有效避免对智能体的连续控制和Zeno行为的发生.数值算例验证了所得理论结果的有效性.
随着教育信息化程度的不断加深,以预测学生知识状态为目标的知识追踪正成为个性化教育中一项重要且富有挑战性的任务.知识追踪作为一项教育数据挖掘的时间序列任务,与深度学习模型强大的特征提取和建模能力相结合,在处理顺序任务时具有得天独厚的优势.为此,简要分析传统知识追踪模型的特点及局限性,以深度知识追踪发展历程为主线,总结基于循环神经网络、记忆增强神经网络、图神经网络的知识追踪模型及其改进模型,并对该领域的已有模型按照方法策略归类整理.同时梳理了可供研究者使用的公开数据集和模型评估指标,比较和分析不同建模方法的特
自深度神经网络出现以来,目标跟踪技术领域的发展也取得了长足的进步。当前目标跟踪领域的研究大多数都集中在算力充沛的计算环境下提升算法的准确度与效率,在运算资源受限环境下的目标跟踪算法研究相对较少。因此,开发在运算资源受限环境下仍然有效的跟踪网络至关重要。对近年目标跟踪技术所取得的进展与设计理念进行了系统性的梳理,并总结其在适配运算资源受限环境下的改进。介绍了目标跟踪任务的整体工作流程,并根据各跟踪方
无人机设备算力低下,深度模型计算量过大不适合直接部署,航拍图像目标小并且密集,模型对目标识别分类效果也不佳。为了提高深度模型航拍目标检测的精度和速度,降低计算量。对YOLOv3-SPP模型进行改进,将GIoU代替平方和用作定位损失,提高定位精度。提出了一种数据集优化和数据增强方法。再针对特定类别按照权值进行采样处理均衡化类别数量。随机组合不同场景样本组成批训练,提高模型训练效率和检测鲁棒性。再对模
随着生命科学技术的发展,生物医学领域文献呈指数级增长,如何从海量文献中挖掘、抽取有价值的信息成为生物医学领域新的研究契机.作为信息抽取的核心技术,命名实体识别和关系抽取成为生物医学文本挖掘的基础和关键,其主要工作为识别生物医学文本中的实体,并提取实体间存在的生物医学语义关系.当前深度学习技术在各领域自然语言处理任务中取得了长足的发展,旨在总结基于神经网络的生物医学实体识别和关系抽取的方法,从概念、进展、现状等多角度全面阐述各项技术在生物医学领域的发展历程,进一步明确生物医学文本信息抽取工作的探索方向.
为了研究具有产能约束的闭环供应链中回收率奖惩机制对制造商合作策略的影响,构建了由单一制造商、零售商和回收商组成的闭环供应链模型,运用Stackelberg博弈理论进行分析.研究发现:当奖惩力度较大时,制造商更倾向于与回收商合作;反之,其合作倾向与产能大小有关.此外,奖惩力度的增大会削弱产能变化对不同合作模式下的回收率等相关决策变量的大小关系的影响,同时也会加剧或缓解不同合作模式在特定产能条件下对消费剩余可能产生的负面影响.