【摘 要】
:
特征降维是网页分类系统中的关键技术,优秀的特征降维方法是实现网页高效分类的一种有效途径。特征选择作为特征降维的一种有效途径,它对特征词的选择效果是影响分类效果的直
论文部分内容阅读
特征降维是网页分类系统中的关键技术,优秀的特征降维方法是实现网页高效分类的一种有效途径。特征选择作为特征降维的一种有效途径,它对特征词的选择效果是影响分类效果的直接因素。在实际网页分类中,数据集规模有限且存在一定缺陷,已有的特征选择方法进行特征词选择时效果一般,导致网页分类效果评价指标MicroF1(F1微平均)值偏低。本文对传统CHI(卡方检验)特征选择方法进行详细地分析,发现传统CHI特征选择方法对不同数据集进行特征降维时存在以下缺陷:(1)低频词缺陷;(2)特征词与分类之间存在负相关;(3)易受数据集均衡性和完备性的影响。而已有的改进方法解决了前两个问题,但依然存在受数据集均衡性和完备性影响的问题。针对CHI特征选择方法对不同数据集进行特征降维时存在的缺陷,本文引入词向量对CHI统计量特征选择方法进行改进。改进的主要思路是:首先使用分类词频对CHI统计量的计算公式进行改进,并且忽略特征词和分类的负相关特性,以解决传统CHI特征选择方法忽略特征词词频和特征词和分类之间的负相关带来的问题;使用改进后的CHI特征选择方法对不同数据集的特征词进行特征选择,然后使用词向量对特征选择得到特征词子集进行扩充,以解决CHI特征选择方法的特征词选择结果易受数据集均衡性和完备性影响的问题。本文对两种数据集采用不同的特征选择方法对特征词集合中的特征词进行选择,通过多组对比实验来验证本文提出的CHI改进方法的有效性和可行性。本文使用MicroF1值对测试集所有网页文本的分类效果进行评价,实验结果证明本文提出的CHI特征选择改进方法对不同数据集进行特征词选择都可以得到更好的分类效果。
其他文献
在建筑领域中遵循可持续发展原则,将对人类实现可持续发展发挥及其重要的作用。本文首先从可持续发展的角度介绍了绿色建筑和绿色施工的概念和重要性,在此基础上阐述了绿色建
随着人们生活水平和质量的不断提高,很多城市设施建设愈加完善。园林景观建筑作为城市中的一道亮丽风景线,和传统的园林建筑相比,在设计上也存在诸多讲究。如,从材料的选择、
教育国际化的关键在于寻找切实有效的路径,而中医院校的重要职能之一是传承创新中医药文化。本文通过阐释教育国际化内涵,中医药院校教育国际化的背景,解析中医药院校国际化
<正> 月季是世界主要传统名花之一,就其育种规模、色系品系构成、栽培设施以及工厂化生产程度而言,居菊花、康乃馨、唐昌蒲之首。据统计,目前,受国际植物专利法保护的月季品
目的研究血清降钙素原(PCT)与C反应蛋白(CRP)检测用于糖尿病足重度感染患者中的临床价值。方法回顾性分析2018年3月—2019年3月该院收治的157例糖尿病足患者临床资料,根据不
本文以电动汽车示范推广为出发点,以公共服务领域为切入点,力图理清电动汽车示范推广过程中遇到的几个关键问题。
新闻背景:近日,2017体育旅游发展论坛暨“中国休闲30人”鄂尔多斯品鉴行活动在内蒙古鄂尔多斯举行。本次活动由中国旅游报社、鄂尔多斯市旅游发展委员会主办,“中国休闲30人”秘
为进一步提高甜菜生产水平,为高产施肥提供技术支撑,在黑龙江省黑土和白浆土甜菜主产区,采用3×3优化施肥设计开展甜菜优化施肥研究。结果表明:黑龙江省甜菜高产施肥中氮
地稔为野生多用途植物,摸清地稔的需肥特性是决定地稔人工栽培能否成功的关键,研究了在地稔人工栽培中N、P、K三要素对地稔的生长状况及植株养分分配的影响。结果显示:N、P、K
中国素有诗国之称,在关于诗歌审美问题的研究中,引入并借鉴西方美学具有重要而积极的意义。然而不能因有“西学”而忘却了本土的诗学传统,因为西方美学产生的文化背景、内容指向