中文停用词表的自动选取

来源 :北京理工大学学报 | 被引量 : 0次 | 上传用户:xqxcb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过对现有基于统计的停用词选取方法的考察,提出了一种新的停用词选取方法.用该方法分别计算词条在语料库中各个句子内发生的概率和包含该词条的句子在语料库中的概率,在此基础上计算它们的联合熵,依据联合熵选取停用词.将该方法与传统方法选取的停用词表进行了对比,并比较了将各种方法用于文本分类的预处理时对分类效果的影响.实验结果表明,该方法更好地避免了语料的行文格式对停用词选取的影响,比传统方法更适用于文本分类的预处理.
其他文献
为筛选出适宜山东省济南市种植的水稻品种,2018年在山东省济南市济阳区济阳街道稍门对7个水稻品种(圣稻14、圣稻19、锦初105、盐丰47、锦初104、原稻1号和盐丰K189)进行了品
目的 探讨肺癌患者肺叶切除术手术前、后的常规护理和心理护理。方法掌握术前宣教、指导患者呼吸功能的锻炼、加强呼吸道的护理、胸腔引流管的护理、呼吸功能的锻炼、加强肢
测定黑羽番鸭不同品系(纯黑系、白头系)早期体重、10周龄体尺,用Logistic和Gompertz2种非线性生长模型拟合其生长曲线。结果表明:除初生重外,白头系公鸭显著高于纯黑系公鸭。从第4
建立了由亲水性离子液体1-丁基-3-甲基咪唑四氟硼酸[Bmim]BF4和NaH2PO4形成的双水相体系萃取青霉素G的新方法.考察了NaH2PO4浓度、青霉素浓度以及离子液体用量对双水相形成和
信息化建设是成人高校在信息化社会背景下实现自身变革,提升整体办学水平的有效途径。信息化建设对于成人高校提升内部治理能力同样具有重要作用。在此背景下,明确高校信息化
目的 研究大鼠脑β-淀粉样蛋白表达及神经行为学与高胆固醇水平的关系,以明确辛伐他汀对阿尔茨海默病(AD)防治有一定作用。方法 将32只健康Wistar大鼠按随机数字表法分为普通组
目的探讨改良式粘贴固定法在处理溶液不滴时的效果。方法300例患者分为两组:150例采用传统方法(对照组);150例采用改良式粘贴固定法(实验组)。结果实验组的不适率、不理想率、渗漏
不同国家对管网水中是否应该保证一定的消毒剂余量问题的态度和处理方法有所不同.文章较详尽地介绍了美国、荷兰、德国等国家的不同做法和原因,并与我国的消毒剂使用状况进行了
<正> 春花秋草。只是催人老。总把千山眉黛扫,未抵别愁多少。 劝君绿酒金杯。莫嫌丝管声催。兔走鸟飞不住,人生几度三台。 ①催人老:催,迫促。今作“摧”。杜 甫《小至》诗有
期刊
在适当反应条件下,含硫烟气可用炭作还原剂将SO2还原为元素硫回收。产物硫是一种高纯度的淡黄色晶体,经X衍射分析,知其属正交晶系,反应尾气中除含有痕迹量未反应的SO2外,还含