基于改进TF-IDF和fastText算法的文本分类研究

来源 :安徽理工大学 | 被引量 : 2次 | 上传用户:rebornfdgg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的快速发展和普及,海量的信息覆盖在互联网所涉及到的地方,各种类型的数据急速增长,而文本数据更是这些信息的主体。现在,人们通过网络获取信息的方式发生了改变,从以前单一的电脑终端变成了电脑、智能手机、平板电脑,甚至是智能电视、智能手表等。方式的便捷致使人们每天都接触着大量的信息,因此,怎样快速获取分类好的有用信息显得尤为重要。本文主要研究将文本分类相关技术应用在中文新闻文本上的分类问题,对一些常用在文本分类领域的算法进行了分析,再结合常用的文本分类模型,对其未考虑的点,比如:标题关键字的重要性、特征词在类别之间以及类别之内的分布情况等进行了针对性的改进。首先,对要进行文本分类的数据进行预处理操作,在原有的分词、去停用词基础上使用正则表达式对处理结果进行进一步的提纯,以便获取到提纯后的文本数据。然后,对传统的应用在文本分类领域的TF-IDF算法进行了分析,发现它实际应用在中文新闻文本分类中的一些不足之处并给出了相关的改进思想,提出了改进后的算法ETF-IDF,使某些特征词在权重计算中能获取更高的权重值。最后,分析了 fastText模型,指出其应用在中文新闻分类时的两个不足之处:1、没有考虑fastText模型的输入层在输入时存在的大量干扰词汇对分类结果的影响;2、没有考虑文章标题和内容关键词的区分度不同所导致的关键词权重值计算不准确的影响。针对这些问题,本文结合前面提出的ETF-IDF算法,对fastText模型进行了改进,提出了新的E-fastText模型。将改进后的E-fastText模型与K近邻算法、朴素贝叶斯算法、原始fastText模型在3组不同数量的中文新闻数据集上进行了对比实验。通过分析实验结果,证明了改进后的算法及模型在文本分类效果上有一定的提升。图[21]表[22]参[53]
其他文献
硒是一种十分重要的微量元素,在人和动物的生长、发育和繁殖过程中起着关键作用。黑龙江省大部分地区为缺硒地带,硒缺乏对畜禽养殖业的影响很大。随着硒缺乏对机体作用机制的研究逐渐深入,目前关于硒元素缺乏对人类疾病影响的研究逐渐成为热点,而硒元素缺乏对动物器官损伤机制的研究却少有报道。研究发现,硒缺乏会引起猪营养性肝萎缩和白肌病等病理损伤。然而,关于黑龙江省玉米硒含量情况以及猪硒缺乏性肝损伤中是否存在程序性
周细胞是神经血管单元重要组成部分之一,生理状态下周细胞具有促进血管新生、维持大脑毛细血管稳定性、调控大脑微循环血流等多重功能。脑缺血再灌注发生后,缺血部位脑组织发生缺血级联反应,周细胞被激活并发生收缩,压迫其所附着的毛细血管,造成微循环障碍,导致“无复流”现象发生。本课题基于缺血再灌注后周细胞对毛细血管血流调控作用的改变,利用小鼠全脑缺血再灌注模型,探讨清开灵注射液对脑梗死微循环障碍的治疗作用及机
目的前瞻性对比分析高强度聚焦超声(HIFU)与子宫动脉介入栓塞(UAE)两种预处理方式治疗剖宫产瘢痕部位妊娠(CSP)对卵巢功能及子宫内膜容受性的影响,并回顾性分析两种预处理方式治疗CSP的再妊娠结局,以探讨两种预处理方式对女性生育力的影响。资料与方法1.收集2018年10月至2019年12月入住川北医学院附属医院妇科并经妇科超声和(或)盆腔MRI确诊为CSP的患者,根据制定的纳入标准及排除标准确
2016年4月19日习近平总书记《在全国网络安全与信息化工作座谈会上讲话》正式提出新型智慧城市的概念,党的十九大报告提出建设“智慧社会”,确立了新时代中国特色社会主义信
在国家大力倡导全域旅游、城乡一体化建设的背景下,特色小镇的建设飞速发展,小镇导示系统作为一种为人们提供信息服务的载体,除了满足基本导示功能以外,同时它也是构成小镇特色的一个重要部分。为支持析木镇申请国家级历史文化名镇的工作,本次研究将从分析梳理析木镇的特色文化为起点,尝试为析木镇的大同峪村做出一套符合当地文化特色的导示系统方案,为小镇后续各村导示标识的深化设计提供参考。本文首先通过文献研究和案例分
雾天成像由于清晰度低、细节模糊,对图像的分析和计量造成很大的影响,因此,研究一种快速、有效的图像去雾算法具有很重要的理论意义和实际价值。本文对现有的两大主流去雾算法,一种是暗通道先验去雾算法,另一种是颜色衰减先验去雾算法,这两种算法在图像去雾领域中是效果较好和作为对比最频繁的两种算法。本文对两种算法的原理和缺陷进行了深入分析,以此为基础提出了改进方法,论文的创新性内容如下:1)提出了一种基于天空修
《目标引领组织转型》一书由尼古拉斯·巴内特与罗德尼·霍华德共同著成,其内容详实,例证充分,可谓一本理念先进的目标管理指导手册。根据纽马克的文本类型理论,本书兼具信息
知情权最早是作为公法领域中的权利而存在的,伴随着社会信息化程度的日益提高和公民意识的不断觉醒,知情权的内涵和外延逐渐扩展,私法领域中的知情权成为人们日益关注的重点。夫妻间知情权是私法知情权在婚姻家庭领域的延伸和体现,也是夫妻在婚姻中互负忠实义务的必然要求。学者对婚姻关系领域知情权的研究多集中在夫妻间知情权和隐私权的平衡问题上,专门针对夫妻间财产知情权的立法保护研究较少。夫妻间财产知情权是知情权在婚
专家共识作为医学实践的指导性文件,它的研究越来越受到人们的重视。共识法作为将医家的经验性信息进行收敛与综合的常用方法,不仅可以辅助临床专家决策,指导临床实践,还为中医药理论研究、经验传承和知识挖掘提供新的思路与方法。在共识的研究过程中,研究对象具有多种属性,需要群体专家通过对多属性问题进行干预以达成一致意见,所以,共识的研究过程实质为一个多人多属性决策的过程。由于决策专家在多种因素的影响下关注事物
轻骨料混凝土的优点是自重轻,钢纤维的加入使得轻骨料混凝土在自重轻的同时提高韧性。本课题将钢纤维和轻骨料(浮石)混凝土混合配制钢纤维轻骨料混凝土。为了分析这种改性材料的主要特征和相关力学性能,本文进行了钢纤维轻骨料混凝土的立方体抗压强度、劈裂抗拉强度、抗折强度等试验,对影响钢纤维轻骨料混凝土力学性能的各个因素进行对比分析。本文主要研究内容有:根据钢纤维轻骨料混凝土的特性和工程实践的要求,确定正交试验