论文部分内容阅读
自注意力机制被广泛应用于自然语言处理任务中.现有的自注意力机制通常使用软注意力模式,即使用密集注意力矩阵,但随着信息长度增长对应的权重变小,无法提取负面信息.针对以上问题,提出融合硬注意力机制即稀疏注意力矩阵来改进现有模型,充分提取文本中正负信息,弥补传统注意力矩阵不能为负的空白.
基于改进的混合自注意力机制模型的研究
【摘 要】
：
自注意力机制被广泛应用于自然语言处理任务中.现有的自注意力机制通常使用软注意力模式,即使用密集注意力矩阵,但随着信息长度增长对应的权重变小,无法提取负面信息.针对以上问题,提出融合硬注意力机制即稀疏注意力矩阵来改进现有模型,充分提取文本中正负信息,弥补传统注意力矩阵不能为负的空白.
【机 构】
：
沈阳师范大学软件学院,辽宁 沈阳 110000
【出 处】
：
电视技术
【发表日期】
：
2021年12期
其他文献
远海岛礁海域不同于大陆沿海海域,对其进行仿真模拟时,需充分考虑其特殊性.针对P-M谱不适用于复杂环境海浪模拟的问题,通过加入岛礁因子,对原有算法进行改进.通过分析岛礁海域附近可能发生的折射、绕射等现象,以Gerstner波为原型进行环岛海浪模拟,并为其设置触发条件.最终依据波的线性叠加原则,将改进后的海浪谱与环岛海浪进行叠加,建立了完整的海浪模型,并利用OpenGL开发工具和Microsoft Visual Studio实现了整个远海岛礁海浪模型的三维仿真模拟.仿真结果表明,岛礁因子的加入使得P-M海浪谱
为解决高比例新能源消纳问题以及通过市场价格信号引导用户用电行为,甘肃双边现货市场于2021年年初开始建设,并于2021年5月开展结算试运行.基于甘肃双边现货市场2021年5月运行数据,从市场结构、市场行为、市场交易维度深入分析了市场运行情况,总结了市场运行规律.首先,从中长期交易衔接机制、现货市场组织方式、价格与结算机制层面分析甘肃双边现货市场体系架构.其次,基于市场实际运行数据,从市场结构、市场行为、市场交易维度分析了市场运行状况.然后,在引入用户报量报价参与市场后,通过对比单边市场出清结果与双边市场出
为了实现换向器表面缺陷自动检测,针对实际缺陷样本数量少、标注成本高等问题,设计一种基于特征空间的无监督换向器表面缺陷检测方法.利用预训练的EfficientNet网络提高对于特征的提取能力;同时提出一种平衡利用不同深度特征信息建立异常图的方法,加强对于缺陷轮廓的识别精度;通过对每个像素分别建立高斯分布,实现像素级缺陷分割.实验表明,提出的方法对缺陷样本的识别精度达到98.7％,对缺陷区域的分割精度达到98.0％,具有较好的缺陷检测能力,在工业应用上具有研究价值和实践意义.
由于水下环境条件恶劣,人类无法在水下获取较多的视频资源,水下视频的压缩传输受带宽和光照条件影响,会出现时延长、波动大、重建后的水下视频感兴趣区域和目标模糊失真等问题,传统视频压缩技术无法很好地处理水下视频,因此,提出一种基于结构分解的端到端水下视频压缩方法,可以在控制码率的情况下压缩传输在感兴趣区域和目标的视觉感官方面效果较好的水下视频.
多微网高渗透态势下,配电系统调度对象时空维度扩大化,传统刚性调度模式制约了微网发电潜能.采用制定区间调度计划方式引导多微网市场交易行为,在赋予微网一定的发电自主权、激发弹性调控潜能的同时,保证市场出清结果趋于全局最优.首先,配电系统采用二阶锥模型计算全局最优运行解并以最优运行解为中心,制定多微网运行奖励区;其次,构建市场交易双层优化模型,下层模型对多个微网之间的博弈进行建模,能够促使各微网获得以其自身收益最大化为目标的优化决策策略,上层模型主要建立含配电系统各项运行刚性约束的配电网市场模型,主要用于完成市
为解决现有高压直流线路电流差动保护动作延时长(秒级)的问题,提出基于突变电流积聚量的伪同步差动保护新原理.分析两端电流在区内外故障时的突变特征,提出突变电流积聚量以有效捕捉电流突变方向,利用两端突变电流积聚量分别构造动作电流和制动电流,提出全新原理的直流差动保护,并通过伪同步算法进一步缩短保护动作时间.此外,比较两端电流数据在伪同步和同步算法下的时序关系,进一步分析伪同步算法的优越性.仿真验证结果表明,保护新原理具有高快速性和灵敏性,考虑20ms线路通道延时,区内金属性故障时保护的动作时间不大于20ms,
高能耗的数据中心具有巨大的可调节潜力,其负荷可作为电网公司开展需求响应业务的重要载体.然而,多方不确定因素严重制约数据中心运营商的需求响应决策,并影响其可调节能力.对此,提出一种考虑托管式数据中心负荷调节不确定性的区间优化模型.首先,梳理负荷调节过程中存在的不确定因素.然后,解析不确定因素之间的耦合关联关系.在利用Stackelberg博弈解决租户以及数据中心运营商之间的利益分配问题时,解析出不确定因素之间的关系式,进而求解出不确定因素的分布区间.最后,利用区间优化模型构建数据中心负荷调节的上层乐观解模型
基于模块化多电平换流器的高压直流(high voltage direct current based on modular multilevel converters,MMC-HVDC)系统发生直流短路故障时,故障电流上升速度快,这对系统保护提出了极大的挑战.对于采用半桥子模块拓扑的MMC-HVDC系统,通常会在直流线路两端加装故障限流器(fault current limiter,FCL)来抑制故障电流.在对FCL进行优化设计以及进行故障保护时,需要考虑含FCL投入的故障电流的演化规律.因此,含FCL投
最近,基于互联网的电视网络操作系统非常流行,这项技术的目标是实现万维网的全部功能.在线操作系统包括持久存储、远程进程执行、客户端管理、身份验证以及安全机制等组成部分.对此,以一个典型的电视网络在线操作系统为例,介绍其提供的服务、开发使用的底层技术、使用的优点以及一些实际应用,讨论在线操作系统的设计和实现方法.
近年来,随着物联网逐渐成为世界信息产业发展的热点,室内智慧化建设的技术要求越来越高,而位置信息在室内环境中具有广泛的应用场景.基于此,综述现有的室内定位技术与方法,从成本、部署难易程度、后期推广方面综合分析,总结出基于位置指纹的室内定位方法的优势;主要研究并实现了一种基于位置指纹的室内多模定位方法,该方法是一种低成本、高精度的室内定位解决方案;最后提出一种基于平面区域非均匀量化的定位栅格划分方法,基于提出的技术方案,室内定位能够在定位精度和运维成本两方面取得平衡.