【摘 要】
：
注意力机制因其优秀的效果与即插即用的便利性,在深度学习任务中得到了越来越广泛的应用。主要着眼于卷积神经网络,对卷积网络注意力机制发展过程中的各种主流方法进行介绍,并对其核心思想与实现过程进行提取与总结,同时对每种注意力机制方法进行实现,针对同型号辐射源设备实测数据进行对比实验与结果分析,并依据主流方法的思想与实验的结果总结并阐述了卷积网络中的注意力机制的研究现状与未来其发展方向。
论文部分内容阅读
注意力机制因其优秀的效果与即插即用的便利性,在深度学习任务中得到了越来越广泛的应用。主要着眼于卷积神经网络,对卷积网络注意力机制发展过程中的各种主流方法进行介绍,并对其核心思想与实现过程进行提取与总结,同时对每种注意力机制方法进行实现,针对同型号辐射源设备实测数据进行对比实验与结果分析,并依据主流方法的思想与实验的结果总结并阐述了卷积网络中的注意力机制的研究现状与未来其发展方向。
其他文献
无监督的图像风格迁移是计算机视觉领域中一个非常重要且具有挑战性的问题。无监督的图像风格迁移旨在通过给定类的图像映射到其他类的类似图像。一般情况下成对匹配的数据集很难获得,这极大限制了图像风格迁移的转换模型。因此,为了避免这种限制,对现有的无监督的图像风格迁移的方法进行改进,采用改进的循环一致性对抗网络进行无监督图像风格迁移。首先为了提升网络的训练速度,避免梯度消失的现象出现,在传统的循环一致性网络
在生物医学领域,以静态词向量表征语义的命名实体识别方法准确率不高。针对此问题,提出一种将预训练语言模型BERT和BiLSTM相结合应用于生物医学命名实体识别的模型。首先使用BERT进行语义提取生成动态词向量,并加入词性分析、组块分析特征提升模型精度;其次,将词向量送入BiLSTM模型进一步训练,以获取上下文特征;最后通过CRF进行序列解码,输出概率最大的结果。该模型在BC4CHEMD、BC5CDR-chem和NCBI-disease数据集上的平均F1值达到了89.45%。实验结果表明,提出的模型有效地提升
使用拍卖机制对计算资源进行分配是当前边缘计算研究领域的热点问题之一,但当前研究大多存在资源类型单一、无法满足防策略的问题。提出一种适用于边缘计算环境的资源分配防策略拍卖机制,它以虚拟机的方式组合资源,进而支持多种资源的分配,在资源分配算法中同时考虑了用户需求的资源密度和部署约束以及资源服务器的容量,这能够有效地提高资源利用率和社会福利,通过使用二分法计算出临界价格作为支付价格,提升了支付价格的计算速度,并且使得该机制满足防策略。实验结果表明,该机制显著提高了资源提供商的资源利用率和社会福利,并能将计算时间
大数据下的目标检测算法常常会出现目标漏检和重复检测问题,针对此问题提出一种基于自适应阈值-非极大值抑制AT-NMS的Mask RCNN改进算法Mask RCNN_(AT-NMS)。首先在ResNet基础上添加可变形卷积模块增强提取目标多层卷积特征的能力;其次使用AT-NMS算法提取目标候选区域的深层信息;然后通过ROI Align2次量化处理实现对目标更加精确的定位;最后通过3个分支实现目标实例分
近年来,多核聚类(MKC)在融合多源信息以提高聚类性能方面取得了显著进展。但是,以n表示样本数,O(n2)内存消耗和O n 3计算消耗限制了这些方法的实用性。重新设计了基于子空间分割的MKC公式,从而将其内存和计算复杂度分别降低到O(n)和O(n2)。在该算法(基于压缩子空间对齐的多核聚类算法CSA-MKC)中,通过对部分数据采样来重建整个数据集。具体而言,在该算法中,在信息融合过程中同时学习了共识采样矩阵,从而使生成的锚点集更适合于跨不同视图的数据重建。因此,
针对烟叶存储期间的霉变问题,传统的防治措施效果欠佳,且已有的烟叶霉变预测模型的准确率较低,不能有效减少烟叶霉变现象的发生。为了提高预测烟叶霉变状态的准确率,提出了一种基于一维卷积深度神经网络(1D-CNN)的方法。以采集终端传感器数据为基础,对其进行标准化处理,得到模型训练特征,训练一个1D-CNN来预测烟叶霉变状态,优化网络结构,实验结果表明所提方法的预测准确率高于其它传统模型。最后,设计并实现了烟叶仓储霉变智能监测系统,实现了烟叶霉变的实时预测功能,取得了较好的效果。
传统聚类方法往往无法避免邻域参数和聚类数量的选择问题,而这些参数在不同形状的数据中的最优选择也不尽相同,需要根据大量先验知识确定合适的参数选择范围。针对上述参数选择问题,提出了一种基于自然邻居思想的边界剥离聚类算法NaN-BP,能够在无需设置邻域参数和聚类数量的情况下得到令人满意的聚类结果。算法核心思想是首先根据数据集的分布特征,自适应迭代至对数稳定状态并获取邻域信息,并根据该邻域信息进行边界点的标记与剥离,最终以核心点为数据簇中心进行聚类。在不同规模不同分布的数据集上进行了广泛的对比实验,实验结果表明了
对于稀疏信源的欠定盲分离问题,混合矩阵的估计是至关重要的。为了提高估计性能,提出一种组合的聚类分析算法。首先,利用短时傅里叶变换把时域中的观测信号转变成频域中的稀疏信号,并通过数据的归一化把稀疏信号在频域的线性聚类转变成致密聚类。然后,利用相似性传播AP聚类方法搜索每个观测数据的邻域自动形成数据族的数量和相对应的关键数据。最后,以AP聚类的结果作为K-均值算法的初始值,对每类(族)数据的聚类中心进一步修正。仿真结果表明,组合聚类法能有效地提高混合矩阵的估计精度。把AP聚类和K-均值算法相结合的另一个优势是
近年来,带有位置和文本信息的空间-文本数据的规模迅速增长。社交网络中的社交数据和移动互联网中的交易数据等都是空间-文本数据的重要来源,这些数据具有海量、异构、多维等特点。以空间-文本数据为背景的空间关键字查询技术目前得到广泛的研究与应用,给定一个查询位置(用经度和纬度表示)和一组查询关键字,返回距离查询位置最近且与查询关键字相关性较高的空间对象。对空间-文本数据的相关查询技术进行综述,主要包括查询处理模式、索引结构、语义近似查询、基于路网的查询、路线规划查询、基于社交网络查询、基于影响约束下的查询等。
糖尿病视网膜病变是世界上致盲率最高的眼科疾病,早期诊断可以显著降低患者失明的概率。深度学习方法可以提取医学图像的隐含特征,并完成图像的检测任务,因此应用深度学习实现糖尿病视网膜病灶检测成为研究热点。主要从数据集介绍、全监督检测方法、非完全监督检测方法、小样本问题的处理和模型可解释性五个方面进行详细总结,重点整理各类方法的基本思想、网络结构形式、改进方案及优缺点总结等内容,结合当前检测方法所面临的挑战,对其未来研究方向进行展望。