文本分类中基于熵的特征词权重计算方法的研究

来源 :第三届CCF大数据学术会议 | 被引量 : 0次 | 上传用户:spsnake
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  随着文本数据量变得很大且仍在迅猛增加,自动文本分类变得越来越重要。为了提高分类准确率,特征词权重计算方法是文本分类领域的研究热点之一。我们研究了各种特征词权重计算方法,发现基于信息熵的权重计算方法(熵加权)相对于其它方法更有效,但现有方法仍存在问题,比如在某些语料库上它们可能表现较差。于是我们提出了LTF-ECDP (logarithmic term frequency&entropy-based class distinguishing power)方法,它将对数词频与一个新的基于熵的类别区分力度量因子相结合。我们在TanCorp、WebKB和20 Newsgroups语料库上使用支持向量机(support vector machine,SVM)和8种特征词权重计算方法做了一系列文本分类实验。实验结果表明,LTF-ECDP方法比其它熵加权方法和TF-IDF (term frequency&inverse document frequency)、 TF-RF(term frequency&relevance frequency)等著名方法更优越,不仅提高了文本分类准确率,而且在不同数据集上的性能更加稳定。
其他文献
萘酰亚胺类化合物具有稳定性好、荧光强度高、易修饰等优点,不仅是一类优异的颜料和染料,而且被广泛应用于荧光探针、染料敏化太阳能电池、有机电致发光等有机光电功能材料领域
甲醇汽油是一种优越的汽车代用燃料,价格便宜,燃烧性能良好,同时减少发动机废气排放,对中国能源结构调整、缓解石油供需矛盾、减少大气污染等方面具有重要意义.该文研究了低
目的:胰岛细胞移植是治疗Ⅰ型糖尿病最有希望的方法,由于供体细胞不足和免疫排斥反应等问题,限制了胰岛细胞移植技术的应用。骨髓基质干细胞(BMSCs)具有获得容易,可体外复制和
  近年来,用户在社交媒体上越来越多地使用多媒体内容来分享经历和表达情绪,如新浪微博的一条微博常常包含文本和图像。相比于单独分析文本和图像的情感,融合文字和图像的多媒
会议
  本文考虑了微博中的多样性检索问题。我们第一次将多样性排序学习方法应用到微博多样性检索中,并针对微博的特点设计了一系列社交媒体特征。实验结果表明,多样性排序学习方
世界经济的高速发展,得益于石油、天然气、煤炭等化石能源的使用。然而,这一经济的资源载体将在21世纪上半叶迅速地接近枯竭。同时,化石能源的过度开采与使用所造成的环境污染和
  近几年,我国P2P网贷行业在高速发展的过程中出现了大量的失联跑路事件。本文基于P2P网贷及大数据相关概念深入剖析,创新性地将平台的风险预警同大数据技术相结合,最终通过海
  雾霾监测点作为雾霾大数据感知的源头,其自身的可靠性对大数据的可靠性至关重要。当感知源行为出现异常不可靠时,其所获得的数据本身就是不可靠的,更勿论进一步的处理和决策
会议
为了促进干旱区林果业的发展,创建水资源高效利用环保型生态林果业。本研究利用全生物降解膜套袋种植技术在吐鲁番市亚尔乡建立了生物降解膜杏树节水种植示范区。本试验对全
  现有的大部分分类算法都是针对多维数据的,虽然存在一些方法可以用于不是用多维表示的数据类型,即非多维数据,但这些方法本身的弱点往往也都很明显。在大数据时代,复杂的数据
会议