一个网页分类系统的研究与实现

被引量 : 9次 | 上传用户:zsj1502
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的迅速普及和流行,数十亿的网站和网页为用户提供了巨大的访问信息资源,其内容几乎覆盖了每一个可以想到的主题。对网页按主题实现分类,建立相应的URL分类数据库,生成分类信息资源,一方面可以用来滤除不良网页净化网络环境,或者按照安全策略和用户意愿实现web的访问控制;另一方面可以为用户提供分类信息目录,实现网页分级管理和上网信息推荐,为用户提供更快捷和高效的查询结果,从而达到提高信息获取和信息处理质量的目的。因为网页大都以文本描述为主体,所以目前主流的网页分类技术大都是以web的文本分类为研究方向,通过设计合理的网页表示方式和使用文本分类算法来实现网页分类。目前,国外的专业的安全设备提供商(McAfee,Blue Coat, Websense等)都有自己的在线实时查询分类结果的web平台。国内的安全设备提供商目前还没有为自己的“绿网”业务的分类结果数据库提供实时在线可查询的web页面平台。而且为了在推广“绿网”业务时,对“绿网”分类数据库进行展示,让用户测试体验公司的“绿网’产品,就有必要为用户提供一个基于web平台的网页分类结果可查询的系统。根据国内安全设备提供商的项目需要,同时为了与国外专业的网络安全设备提供商的服务质量接轨,论文初步研究实现了一个以web为界面的网页分类系统。本论文主要目标是设计实现一个基于B/S架构的网页分类系统,它以分类效果理想的SVM分类器为基础,利用LAMP (linux+apache+mysql+php)web开发平台进行实现。本论文主要完成了以下几个方面的工作:一、论文对网页分类技术的课题背景、研究现状、研究方向进行了分析和总结。二、系统地研究和分析了网页分类过程中的关键技术和相关理论,包括网页去噪、文本分词、特征选择、文本表示方法等文本分类的预处理技术,以及国内外研究较多、性能较好三种的文本分类方法KNN、贝叶斯和SVM,并具体介绍了SVM算法的多分类方法。三、对网页分类系统进行了需求分析,对其功能需求、性能需求和其界面风格进行了分析。四、论文对网页分类系统的设计与实现方案进行了分析和选择,通过分析Nutch的优点,选择了基于Nutch爬虫的数据获取模块的实现方案;通过分析SVM的优势,设计选取基于LIBSVM的.分类模块的解决方案;基于SVM算法的分类流程,完成分类系统各主要功能模块实现方案的设计。五、利用Nutch爬虫收集一定规模的网页数据,经过格式化处理后,由人工标注的网页训练LIBSVM所得到的网页分类器对其进行分类,将生成的分类结果数据库集成在基于LAMP架构开发的web平台中,最后完成网页分类系统的总体实现。六、对本论文所做工作进行总结和展望。
其他文献
历史上的新疆,植被茂密,森林资源丰富。随着人类活动的增多,伐木、干旱以及战乱等因素,这里的森林资源开始遭到破坏;又因古时人们对森林资源保护意识较低,历代政府也疏于对林业施政
新《刑事诉讼法》再次确立了全案案卷移送的规则,案卷移送规则在我国可谓是一波三折。法官在庭前阅读全部的卷宗,从认知心理学的角度来看,不免带来审前预断的问题,而防止法官预断
将于今年7月1日起施行的《道路运输车辆动态监督管理办法》为国内车联网的发展再添政策东风。一股新力量借势涌入国内商用车车联网的战局。6月18日,北京中交兴路信息科技有限
最初的驰名商标制度是为了突破知识产权地域性的限制以及注册取得原则,防止在外国已经注册的享有较高声誉的商标,在本国遭到抢注,然而根据公平原则,本国商标一样可以获得同等
城市商业银行自上个世纪90年代以来取得了飞速发展,但我国加入世贸组织后金融市场不断对外开放,随之而来的是经营环境前所未有的急剧变化,在这样的整体背景下,国内银行和大型
虽然不同的历史时期,不同的国度,但是女性的问题却一直存在着。然而,到了资本主义里,女性的问题才被提出来,并成为了哲学界的热点话题,大家都在不同的角度来探讨关于女权的问题,并且
重金属废水的排放一直是水污染的一个主要来源。在当代,废水处理已经不是难题,废水处理产生的重金属污泥却成为了制约一些中小型企业发展的瓶颈。因为重金属无论做怎样的处理
推进新牧区精神文明建设是推动新牧区建设的内在要求,又是推动新牧区经济社会健康发展的重要保证。近几年,内蒙古自治区在新牧区的精神文明建设事业上取得了一定成绩,但较之国家
在我国常见的慢性疾病中,肝硬化是其中最常见的一种,而其最常见的并发症是胃肠动力障碍,并且对患者的生活质量及预后产生极大地影响。肝硬化(hepatic cirrhosis)处于弥漫性肝
目的:通过对我院近5年全麻行开胸手术的住院患者的资料分析,探讨气管插管全麻开胸手术术后肺部感染发生的现状、特点和相关危险因素,为降低术后肺部感染发生率制定预防策略提