【摘 要】
：
Transformers的双向编码器表示(BERT)是最新的预训练语言模型的代表之一,它成功地解决了一系列自然语言处理(NLP)任务。用于文本摘要的BERT体系结构(BERTSUM)是一个文本摘要模型,在预训练模型BERT作为编码器,使用多个"[CLS]"标签、区间段标签和线性分类器、RNN分类器或Transformer作为分类器的情况下,BESTSUM在抽象和抽取摘要方面都优于其他模型。然而,当数据集太小或训练步骤太长时,BERTSUM可能会出现过拟合现象。提出了一种基于BERT的小数据集句子嵌入方
论文部分内容阅读
Transformers的双向编码器表示(BERT)是最新的预训练语言模型的代表之一,它成功地解决了一系列自然语言处理(NLP)任务。用于文本摘要的BERT体系结构(BERTSUM)是一个文本摘要模型,在预训练模型BERT作为编码器,使用多个"[CLS]"标签、区间段标签和线性分类器、RNN分类器或Transformer作为分类器的情况下,BESTSUM在抽象和抽取摘要方面都优于其他模型。然而,当数据集太小或训练步骤太长时,BERTSUM可能会出现过拟合现象。提出了一种基于BERT的小数据集句子嵌入方
其他文献
针对火电厂引风机故障发生频繁、后果严重的问题,提出一种适用于复杂工况的全新引风机故障预警算法。结合机理知识和数据挖掘的方法,分析了引风机的特征变量,提取了不同重要程度和层级的特征变量,并基于聚类算法和故障关联度的思想,研发并建立了引风机的在线故障预警模型。该模型适用于具有历史故障库和缺少历史故障库的不同场景,有效满足实际运行的场景需求,实现引风机在线实时故障预警。
井下装矿站在运转时,计量斗在放料的过程中可能会出现卡堵或粘附现象,为了能够提高计量斗的作业效率和精度,研究了不同振动参数对计量斗中剩余矿物颗粒质量的影响。采用EDEM软件对计量斗装料放料的过程进行模拟,并且运用控制变量法分析不同振动频率和振幅对放料之后仓体内剩余矿物颗粒质量的影响,得出最优的振动参数。结果表明,在振动频率为5Hz,X方向的振幅为35mm的条件下,仿真时间10s,仓体内的剩余矿物颗粒质量由原先的10.9609kg下降为0.5914kg,粘附于仓体内的矿物颗粒得到了有效去除。
基于平面对称光学系统的波像差理论,经过物像空间光学元件材料折射率对波像差影响的修正,将像差理论扩展到折反射全景成像光学系统,运用自相关积分和高斯-勒让德数值积分法方法,计算折反射全景成像光学系统的调制传递函数并进行验证。最后,以该MTF作为优化折反射全景成像光学系统的评价函数,采用自适应归一化实数编码遗传算法对一个中等孔径大小的折反射全景成像光学系统实例优化设计。结果表明该光学系统经优化设计后的M
作为第五代移动通信(5G)的关键技术之一,设备到设备(D2D)通信具有高传输速率,低时延等优势。D2D链路与蜂窝链路共享传输信道被认为是解决频谱稀缺的有效途径。针对D2D通信的信道分配问题,提出了两种智能优化算法,在降低算法复杂度的同时提升了频谱效率。
针对当前基层物流工人工作负担大,为减轻基层物流工人的负担,依据机械原理、机械设计、自主定位、自主路径规划和自主行走与避障的基本知识,选择合理的机器人小车结构及路径规划方案,设计出一款能够快速定位行走且精确避障的机器人小车。
针对视频描述任务,提出一种基于动态视觉注意的多语言视频描述算法。基于基础编解码结构,提取视频片段的时空特征信息和语义属性信息,用以视频表达。在解码阶段,两层长短期记忆网络构成的解码框架分别处理时空和语义信息,并通过嵌入注意力模块和动态选择模块,使得整个模型在有能力关注最重要信息出现时刻的同时,还能动态选择当前时刻最佳信息用以生成描述词。基于整个网络实现,通过共享编解码器的方式,在公开大型视频描述数
为确保长期运营拼宽桥的安全,以国道G355线流溪河大桥改造工程为背景,基于该桥病害分布情况和荷载横向分布系数,研究既有拼宽T梁桥连接方式优化方法。提出一种针对长期运营拼宽桥的铰改刚连接方式,即将铰接连接调整为刚性连接并优化横向联系,采用桥梁博士和MIDAS Civil对优化前、后桥梁荷载横向分布系数及内力进行计算。结果表明:病害分布集中程度和荷载横向分布系数大小存在显著对应关系,拼宽连接区域相对较高的荷载横向分布系数导致该区域病害最为集中;该优化方法可显著减小拼宽连接区域主梁荷载横向分布系数峰值及跨中弯矩
单幅图像超分辨率[1]是一个将高分辨率转换为低分辨率的经典问题。基于传统的插值方法,如线性插值、二次插值、Lanczos[2]插值通常带来平滑的图像结果。相比于传统的插值方法,基于深度学习的方法[3]能充分恢复图像的纹理细节,生成更加合理的高分辨率图像。借用了Octave Convolution的思想,并提出了分别产生不同频率的级联模块。同时使用了通道注意力机制去给不同特征图赋予权重。图像超分辨率
近年来,随着我国经济的高速发展,汽车轮毂需求在不断增长,工厂的轮毂生产线在不断增多,各生产线对不同型号的轮毂进行分拣是一项必要的工作。而采用人工分拣的方式,难免存在效率低、错分等情况。近年来随着机器视觉以及人工智能技术的发展,使得用机器代替人工高效识别分拣轮毂的方式成为可能。研究一种基于机器视觉的轮毂智能分类方法,期望实现生产线自动分拣轮毂。主要通过对各种轮毂图片进行图像处理,提取一些有较高区分度
西气东输二线输气阀室没有门禁系统,且地处偏僻地区,无人值守,阀室内部安装高压天然气管道及RTU控制系统等设备,基于安防考虑和为满足公司集中监视管理模式运行要求,研究了以现有的远程终端控制系统为基础的门禁系统,详细阐述了该系统报警判断逻辑,门禁开关及行程开关等硬件改造,RTU系统、上位机工程等软件编程。门禁系统报警能实时驱动对阀室具有管理权的站场的声光报警器和喇叭,并上传至上海生产调度中心,使站场运行人员能第一时间知晓并进行处置;通过查看巡检次数,能让站场运行人员了解阀室看守员巡检次数是否满足公司要求。门禁