基于改进Trie树的变形敏感词过滤算法

来源 :现代计算机(专业版) | 被引量 : 0次 | 上传用户:qq2009liuwei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在文本处理中,针对一般敏感词的过滤系统已经十分成熟,但是对于现今普及的变形敏感词的过滤方法有待完善,尤其是对于复杂的中文变形敏感词。针对变形敏感词过滤这一问题,通过对变形敏感词进行分析总结,提出一种基于改进Trie树的变形敏感词过滤算法。该算法经过对变形敏感词分析归类、文本进行分立预处理、构建符合中文特点的Trie树、变形敏感词过滤等阶段,形成一套完整的中文文本过滤体系。经过反复实验表明,该算法不仅可以有效查找中文本中的普通敏感词,并且能高效地过滤出变形敏感词,其中对总敏感词和变形敏感词的查全率分别达到9
其他文献
研究设计了适合多种新制冷剂、多种管型的管壳式冷凝器传热设计计算软件,介绍了程序化设计工程的构成、计算主模块的流程以及基本计算方法。通过该软件计算,可以更快捷地完成传
物流金融业务运作中风险呈现出多样化、复杂化和动态变化等特点,风险管理已成为影响物流金融业务正常发展的重要因素。借鉴P2DR模型,通过确定物流金融业务七种安全策略,在物
目的:观察比较3%硼酸溶液冷湿敷与外涂炉甘石洗剂对湿疹、接触性皮炎和自体敏感性皮炎的红斑期皮损治疗效果是否相当。方法:选择了急性湿疹、接触性皮炎和自体敏感性皮炎患者14
如何以传统村落为载体,将莲都打造成一个以文化旅游为功能、以活态传承为方式、以集聚开发为手段,整体形成一个极富活力的生态文化博物村落,使之成为有故事、有内涵、能富民
<正>银联单笔免密支付限额提高过去,银联芯片卡小额"免密免签"单笔限额限定为300元。中国银联发布最新公告称,自6月1日起,与各成员机构联合对小额"免密免签"功能进行优化,将3
利用采自阿勒泰中东部地区8个树轮采样点的西伯利亚落叶松树轮资料,建立宽度年表。分析这些年表与气候要素的相关性发现,标准化年表序列与该地区青河气象站6—7月的月平均气
<正> 几乎所有的单片机都需要复位电路,对复位电路的基本要求是:在单片机上电时能可靠复位,在下电时能防止程序乱飞导致EEPROM中的数据被修改;另外,单片机系统在工作时,由于
目的分析移植肝非肿瘤性重度肝动脉-门静脉分流(APS)的CT表现与临床意义。方法 2004年1月—2014年3月,中山大学附属第三医院2例肝移植术后受体在术后CT随访中发现重度非肿瘤性A
为获得可降解正己醇的真菌菌种,分别以苹果园土壤、苹果渣、苹果酒醪和醋醅为分离源,采用富集培养和紫外线定向诱变,得到了两株能在pH3.8-4.0的条件下降解正己醇的真菌菌株TF
随着社会现代化的进步,现代化小区建设也成为建筑规划设计中非常重要的一部分。现代化小区的建筑规划设计有自身的要求,文章将进行分析,并指出当前现代化小区的建筑规划设计