一个基于分层的网页文本过滤系统

来源 :第七届全国Web信息系统及其应用学术会议、第五届全国语义Web与本体论学术研讨会、第四届全国电子政务技术及应用学术研讨会 | 被引量 : 0次 | 上传用户:jessiemaa18
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
设计并实现了一种高效率、高性能的网页文本过滤系统,该系统采用分层过滤策略,包括实时过滤和事后分析。实时过滤模块是基于Linux下的IP Queue机制实现的,采用高效的过滤策略,在保证过滤实时性的同时也保证了过滤的准确性;事后分析模块研究过滤系统经过协议还原后备份的网页文本,通过网页预处理、非法关键词抽取、特征选择等步骤,实现了基于二元模型的文本过滤方法,该方法在一定大小的词语距离窗口内,采用包含非法关键词的二元词串作为特征,解决了使用二元词串带来数据稀疏的问题,同时保留了二元词串的强类别分辨能力的特征。实验表明,文章实现的过滤系统有较高的效率和准确率,用于事后分析的基于二元模型的文本过滤方法达到了较高的性能,其准确率、召唤率和F1的值分别为:96.98%,85.75%和91.02%。
其他文献
本文阐述了标准化和企业标准体系的辨证关系,阐明了强化标准化与完善企业标准体系是企业提高自身科学管理水平、提高经济效益和社会效益的途径,进一步论述了强化标准化与完善企
针对无线传感器网络中DV-Hop定位算法锚节点数的比例与节点定位精度以及覆盖率密切相关的问题,在分析原算法的基础上对其进行改进。改进后的算法未知节点只接收限定跳数内的
加氢空冷器是石化工业用加氢装置中必不可少的设备之一。其管与管箱的焊接由于是在极其狭小的空间内进行,且无法观察.因而是空冷器制造中的难点。该项目针对管一管板接头的焊接
碳酸钙作为PVC异型材挤出中的关键原材料之一,一直被型材厂家忽视。同时发现同样组份轻质碳酸钙填充作为填充原料,起到的不只是降低生产成本的作用,也是对PVC异型材制品的一种物
文章应用HLA分布式仿真技术,研究潜艇指控系统分布交互仿真战术训练系统,研究了仿真训练系统的框架,设计了系统的各对象类,对部队日常训练具有重要意义,可重用的仿真部件也可用于
整个Web环境,本体之间存在复杂的交互关系,构成了本体进化的社会环境。在非集中、分布式环境中,成功的本体应用需要加强对本体改变的管理和本体的进化。文章基于本体云影模型提出了一种本体进化进程COEP,COEP包含复杂的操作,使用本体云影模型的操作和定义,不仅是一个技术过程,还是一个管理过程,充分考虑了群体性、社会性,其方法重视本体之间的关系,其过程比现有的本体进化进程丰富,具有很好的应用前景。
以工程机械和汽车制造为主的福田重工股份有限公司目前正酝酿进军叉车制造业。
随着人们生活水平的提高,人们对健康也有了更多的要求,对于茶叶来说,无公害茶叶是今后茶叶消费的必然要求,茶叶生产必须向健康化和无公害的方向发展。对此,本文对无公害茶叶
[摘 要] 在偏僻的农村地区,人畜饮水安全不能保证,危害到了人畜的健康和安全。本文对人畜饮水安全的现状进行分析,并提出了有效的改进措施,以供参考和借鉴。  [关键词] 人畜 饮水 安全 问题 对策  [中图分类号] S277.7 [文献标识码] A [文章编号] 1003-1650 (2014)03-0239-01  一、前言  当前,在我国的一些偏远地区,由于经济条件的落后,生活用水不能解决,造