基于向量空间模型的文本分类算法研究

被引量 : 0次 | 上传用户:shztky880
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络信息的迅速发展,如何在海量的文本信息资源中快捷、准确的获取有用信息已成为信息处理技术的关键。文本分类技术作为处理和组织大规模数据的核心技术,可以在很大程度上解决信息分类混乱问题,并更加准确高效地实现信息定位和信息分流。目前,文本分类技术在信息检索、网页去重、自动问答等领域都起到了不可或缺的作用,并迅速成为相关领域的研究热点。以向量空间模型(VSM)为代表的基于数据统计的文本相似性算法因其具有实现简单、计算高效等特点而得到了广泛的应用,但随着网络技术的迅速发展和文本信息资源数量的急速增加,文本种类、文本复杂度也较之前有了很大的改变,进而导致传统的VSM算法在文本分类过程中的缺陷也日渐凸显。本文首先结合知网语义知识词典(HowNet)和隐形语义索引(LSI)在文本分类中的应用,深入比对并分析了传统VSM算法在分类过程中的缺陷。由于VSM算法是基于词形建立向量空间模型,没有考察特征词条间的语义信息,忽略了相同语义下词形的多样性、不确定性,从而导致文本分类精度不够。另外,针对文本库中海量词条建立向量空间也使得该向量空间维度过大,进而导致文本分类效率较低。为此,本论文借助HowNet (知网)中的语义层次树,依据语义层次树中的上下位关系对VSM中的特征向量进行语义扩展,将每一个特征词条扩展为一系列与之具有语义相关性的特征词条集合,并赋予相应权重。另外,根据HowNet中的词汇相似度公式为具有同义关系的词条建立同义词集合,并引入“标志词”(flag word)的概念,以“标志词”来取代集合内对应词条。语义扩展和同义词集合建立两个阶段实现了VSM特征词条的语义重构,对重构后的特征向量进行VSM相似度计算具有更高的计算精度。在实验过程中,针对传统VSM在文本分类过程中的缺陷,本文为分属于不同领域的大量文本数据建立了相关数据集,并通过文本分类实验对比得出改进算法与传统VSM在召回率、精确率等索引性能上的差异。实验结果表明,较传统VSM算法,改进算法在文本分类精度及文本分类效率上都有一定程度的提高。最后本文结合改进算法在特征词条的消歧、去重等不足,对论文进行了总结与展望,并指出了基于语义特征的VSM在文本分类领域尚需研究和改进的问题。
其他文献
随着卫星通信系统容量的扩张与数字宽带卫星业务的增大,使得卫星通信信道频谱带宽资源越来越紧张,要求信号调制具有较高的频带利用率和资源利用率。同时,考虑到非线性卫星信道的
经济增长理论和世界各国的发展历史都表明人力资本是经济发展的重要因素,人力资本投资是一国经济长期持续增长的主要源泉之一。而我国的经济发展中却存在着高资源消耗、低劳
中药材质量不稳定是当前中药发展面临的一个重大问题,造成这个问题的一个主要原因是同种药材来源复杂多样。长期以来,多种同属植物被当作一种药材使用的情况时有发生,而对其
滑动跷板式开关是应用最广泛、结构简单,可靠性高的一种常用开关。其功能结构主要靠一根圆柱弹簧带动顶杆,通过顶杆对跷板的压力和反弹,实现动静触头的接触导电和断电。在整
项目管理自上个世纪问世以来,经过多年的发展,已成为一门自成体系的学科,对各领域的项目建设均具有实际的指导意义。电子政务是当代信息化最重要的领域之一,是信息技术应用到
X射线荧光光谱分析(X-ray fluorescence analysis, XRFA)法是化学元素分析方法中仪器分析的一种,利用X射线管发出的一次X射线激发样品,使样品根据所含元素辐射特征荧光X射线,也
本文以东方航空云南有限公司发展战略为研究对象,通过全面调查东方航空云南有限公司的实际情况,掌握了大量的一手材料,结合本人在东方航空云南有限公司的实践经验,应用多种战
5-(1-哌嗪基)苯并呋喃-2-甲酰胺是一个抗抑郁药维拉佐酮的中间体,本文通过对合成路线的探讨,选择了一条较为可行性、合理的合成路线。本文中的合成路线为四步反应,借助1H-NMR
区块链作为互联网领域最重要的创新之一,正在加速改变人类社会治理体系和经济社会运行规则,也给中国产业政策转型带来了巨大机遇。区块链诸多优质特性对产业政策的深层理念和
通过分析我国当前甘蔗种植、蔗糖业发展及国内外甘蔗机械收获技术的现状,提出我国的甘蔗收获机械发展对策。