基于fasttext的越南语新闻分类算法

来源 :东北师范大学 | 被引量 : 0次 | 上传用户:tk6014
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
越南与我国相邻,也是一个社会主义国家,最近几年随着经济的发展,越南在各个方面同我国的联系日趋密切。随着互联网的飞速发展,智能手机的普及,新闻传播的速度已经超乎了地域的限定。为了更好的研究、学习越南语新闻,收集越南语新闻文本,并对其进行整理、主题划分,可以有效帮助人们更好的了解越南国内的情况,具有非常重要的研究意义。目前文本分类的方法主要有基于语义规则、基于传统机器学习和基于深度学习的三种分类方法。传统的基于机器学习的文本分类算法通常会使用TF-IDF算法对文本特征进行提取,但是在提取时不能面面俱到,一些特征不能被提取到,而且也不能捕捉到词语之间的关系,最终得到的结果准确度不高,分类效果不理想。最近几年,在自然语言方面进行文本分类时,常用的方法为基于深度学习的方法,这种方法尽管可以取得较好的分类效果,但是在计算时层数会不断增多,计算量也会逐渐加大,因此计算时间相对较长,并且需要很多计算资源作为支撑。fastText方法可以有效解决上面提到的问题,和其他方法相比,这种方法不仅可以充分保证特征提取的准确度,还可以有效节约计算时间,唯一的小缺陷就是在输入层未能提取输入的数据的特征,这会对分类效果带来一定的影响。本文基于以上问题对fastText模型主要进行了“对重要词进行加权筛选”和“融合新闻标题”两种改进分别提出算法CF-fastText和算法Title-fastText,即主要研究并改进了新闻内容特征加权的CF-fastText模型以及新闻标题加权的Title-fastText加权算法,并将其应用到系统中用于解决越南语新闻文本分类问题。在十个单标签分类项目中取得了95%准确率的表现。实验结果表明,基于fastText的分类算法在融合了新闻标题加权和新闻内容加权后,符合越南语新闻的语言特征,能够有效实现新闻文本的分类。
其他文献
电网终端运行环境复杂多变,易发生随机故障,其中主要故障类型集中在单相接地故障。单相接地故障易导致两相或多相短路故障的发生,所以应尽快找到并排除。与此同时随着谐波分
随着现代高新技术产业的发展,人们对精密、超精密零件的需求量急剧上升,同时对机床的加工精度提出了更高的要求。机床工作台在沿导轨运动时,存在六个自由度几何误差,分别为位
高速铁路以其输送能力大、速度快、便捷、节能等优点,对我国的交通、运输、环境以及经济起着十分重要的作用。随着时代进步,高铁在解决城市间交通问题和乘客需求递增上扮演着举足轻重的角色,成为越来越多国人出行的首选交通方式,给社会带来了巨大的效益。因此,高速列车的安全稳定性也面临着更高标准的要求。现今的高速列车上建立了车载传感器网络,将传感器散布于多个关键部位上,采集温度、速度、应力等信息,全面监测车辆的运
随着噪音和不良振动问题的日益严重,高分子阻尼材料得到了大力发展。然而,现有高分子阻尼材料难以兼具宽有效阻尼温域(△T)、高损耗和高耐热性。此外,传统热固化制备工艺有固化温度高、时间长的不足,不符合当代社会对高效节能的要求。因此,研制可光交联的耐高温、宽温域和高损耗的阻尼材料依然具有重要的科学意义和巨大实用价值。本文旨在展开耐高温、宽温域和高损耗光交联阻尼材料的研究工作,研究内容主要分为以下两大部分
本学位论文基于带耗散源格林函数Rankine源分布面板方法,研究了在匀速流体中二维水翼的源面板带耗散格林函数边界积分方程的数值解,数值模拟了对称水翼表面压力和自由面波高的数值解,数值模拟了水下挡板绕流以及各种水翼的自由面波高等水动力学性态.以下是本文的主要工作:(1)本文基于Rankine源面板法,数值求解浸没水翼在均匀速度下绕流的数学模型,数值模拟了对称水翼在不同攻角下自由面波高和水翼表面压力分
保险是现代社会发展的稳定器和推动器,在经济社会发展过程中一直备受关注。从“新国十条”颁布到贵州省政府和保监局多次发文要求推进现代保险业建设,无不凸显着保险在经济社会发展中的重要作用;同时贵州省自然灾害频发刺激了居民对保险服务的需求,但是当前贵州省保险业发展现状并不理想,截至2017年贵州省保险密度为1091元,全国排名31位。究其根源,主要是因为贵州省当前保险基层服务网络不完善,居民保险需求难以得
为进一步密切市区人大常委会的联系,增强人大工作整体实效,根据市人大常委会统一安排部署,市人大常委会主任会议组成人员在做好疫情防控工作同时,积极开展联系区人大常委会活
碳因其杂化方式的多样性存在丰富的同素异形体,在过去的几十年中,多种基于这些同素异形体的碳纳米结构被合成与研究,在生物医学、信息产业、工业和环境监测等应用领域受到高
形状记忆合金具有优异的力学性能与高形状记忆恢复率,在航空航天、生物医疗等领域有着广泛的应用,但由于其特殊的物理性能,传统加工方法(车削、磨削)加工效果较差,难以保证加
随着市场经济的快速发展,中国人沉溺于物质享受和追求品牌表现自我,已成为一种普遍现象,一种被称为“物质主义”的价值观念在我国逐渐盛行起来。与此同时,随着企业竞争的加剧