基于改进自注意力机制和表示学习的分层文档分类方法

来源 :计算机科学 | 被引量 : 0次 | 上传用户:toveyhzh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文档分类的一项基本工作是研究如何高效的表示输入特征,句子和文档向量表示也可以辅助自然语言处理的下游任务,如文本情感分析和数据泄露预防等。特征表示也逐渐成为文档分类问题的性能瓶颈和可解释性的关键之一。针对现有分层模型面临的大量重复计算以及可解释性缺乏的问题,提出了一种分层文档分类模型,并研究了句子和文档表示方法对文档分类问题的性能影响。所提模型集成了使用改进自注意力机制融合输入特征向量的句子编码器和文档编码器,形成了一个层次结构,以实现对文档级数据的分层处理,在简化计算的同时,增强了模型的可解释性。与仅使用预训练语言模型的特殊标记向量作为句子表示的模型相比,所提模型在五个公开文档分类数据集上实现了平均 4% 的性能提升,比使用词向量矩阵的注意力输出均值的模型提高了2%。
其他文献
为了提升三维激光点云数据处理、存储、运算效率,对基于体素栅格的三维激光建筑物点云抽稀方法进行了研究。通过提取原始三维激光点云空间位置和法向量作为体素栅格存贮数据的主要信息;以三维激光点云最大外包矩形构建最大体素,并依据点云位置不断地进行空间划分,直至阈值范围内,从而实现点云数据的高效组织与管理。对体素栅格内的点云依据设定空间半径阈值检索种子点周边点云,剔除体素栅格中阈值内点云,保留种子点云,从而实
期刊
高素质、高水平的教师队伍是发展职业教育的第一资源,是支撑新时代国家职业教育改革的关键力量。“双师型”教师是职教教师队伍建设的特色和重点,我国职业教育教师队伍建设的系列政策为指导职教师资队伍的发展建设指明了方向。依托我国职业教育教师队伍建设的系列政策文件梳理出“双师型”教师队伍建设在师资来源、培养过程、专业发展三方面的关键问题,剖析当下教师队伍建设推进困境现状,提出加强职业教育学科建设,完善职教教师
期刊
职业院校作为培养应用型人才的重要平台,应该积极构建全面、多层次的“双师型”教师队伍建设路径,以提升教师的学科专业素养、实践教学能力和职业素养,推动职业院校实现高质量发展。通过加强产学研深度融合、强化校企合作、设计多层次的教师培训课程、建立科学公正的教师评价和激励机制、提供持续的职业发展和培训机会等措施的实施,职业院校能够提高“双师型”教师队伍素质,促进教育教学质量的提升,从而朝着更高层次、更优质量
期刊
面对新时代经济社会发展和产业结构调整的新形势、新要求,高职院校“双师型”教师队伍建设面临着新的机遇和挑战。论文分析了新时代高职院校“双师型”教师队伍建设的问题:高职院校“双师型”教师评审准入制度不健全、教师培训培养机制不畅通、教师评价激励措施不完善。探讨了新时代高职院校“双师型”教师队伍建设的对策:健全高职院校“双师型”教师评审准入制度、创新高职院校“双师型”教师培训培养机制、完善高职院校“双师型
期刊
<正>食品卫生与营养学专业于2012年被列入教育部本科专业目录,是一个全新的专业,具有很强的科学性、社会性及应用性。经过多年发展,师资队伍建设日趋完善,教学模式也在不断更新优化。在大健康背景下,对该专业学生的素质能力要求也越来越高,这也就对相应的师资队伍及教学模式提出更高要求。传统的食品卫生与营养学教学以面对面讲授为主,忽略了培养学生在实际生产中解决问题的能力,不利于应用型食品卫生与营养学人才的培
期刊
<正>随着我国高校教育事业的迅速发展,“双师型”教师队伍的构建已成为急需解决的问题。“双师型”教师队伍的建设对高校办学特色、办学质量的影响非常重要。近几年来,高校“双师型”教师队伍的建设具备一定程度的效果。然而,因一些因素,高校“双师型”教师队伍建设依然存在不足,需要采取合理对策进行处理。
期刊
党的二十大对高职教育发展提出了新要求,新时代高职教育发展背景下如何更好地建设“双师型”教师队伍是摆在高职院校面前的重要课题。本文首先提出了新时代高职教育发展对“双师型”师资队伍内涵进行了丰富和多维度发展,并总结了现阶段高职院校“双师型”教师队伍建设存在的现实困境,最后通过所提出的创新师资队伍建设与发展模式,为新时代高职教育发展要求下“双师型”教师队伍建设提供了研究借鉴。
期刊
针对战斗机在攻击目标过程中遭遇防御弹拦截,需同时考虑突防和突防后打击的要求,提出一种基于深度强化学习与模仿学习理论的战斗机智能机动突防算法。首先建立了战斗机突防问题的马尔可夫决策模型,考虑战斗机与防御弹的相对距离以及突防后与目标的距离、战斗机相对战斗机-目标视线的速度前置角,设计了综合考虑突防和打击的奖励函数。接着将近端策略优化(PPO)算法与模仿学习理论相结合,构建了由判别网络、演员网络和评论家
期刊
“双师型”教师队伍是我国高等职业教育高质量高速发展的根本保证,亦是推动高等职业教育教学改革的核心动力源泉。文章简述了“双师型”教师队伍建设的政策及认定标准,分析了高职院校“双师型”教师队伍建设的迫切性及困境,最后提出构建政校行企四方协同的“双师型”教师培养机制的策略建议。
期刊
针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络结合的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表
期刊