论文部分内容阅读
随着Internet的迅速普及和流行,数十亿的网站和网页为用户提供了巨大的访问信息资源,其内容几乎覆盖了每一个可以想到的主题。对网页按主题实现分类,建立相应的URL分类数据库,生成分类信息资源,一方面可以用来滤除不良网页净化网络环境,或者按照安全策略和用户意愿实现web的访问控制;另一方面可以为用户提供分类信息目录,实现网页分级管理和上网信息推荐,为用户提供更快捷和高效的查询结果,从而达到提高信息获取和信息处理质量的目的。因为网页大都以文本描述为主体,所以目前主流的网页分类技术大都是以web的文本分类为研究方向,通过设计合理的网页表示方式和使用文本分类算法来实现网页分类。目前,国外的专业的安全设备提供商(McAfee,Blue Coat, Websense等)都有自己的在线实时查询分类结果的web平台。国内的安全设备提供商目前还没有为自己的“绿网”业务的分类结果数据库提供实时在线可查询的web页面平台。而且为了在推广“绿网”业务时,对“绿网”分类数据库进行展示,让用户测试体验公司的“绿网’产品,就有必要为用户提供一个基于web平台的网页分类结果可查询的系统。根据国内安全设备提供商的项目需要,同时为了与国外专业的网络安全设备提供商的服务质量接轨,论文初步研究实现了一个以web为界面的网页分类系统。本论文主要目标是设计实现一个基于B/S架构的网页分类系统,它以分类效果理想的SVM分类器为基础,利用LAMP (linux+apache+mysql+php)web开发平台进行实现。本论文主要完成了以下几个方面的工作:一、论文对网页分类技术的课题背景、研究现状、研究方向进行了分析和总结。二、系统地研究和分析了网页分类过程中的关键技术和相关理论,包括网页去噪、文本分词、特征选择、文本表示方法等文本分类的预处理技术,以及国内外研究较多、性能较好三种的文本分类方法KNN、贝叶斯和SVM,并具体介绍了SVM算法的多分类方法。三、对网页分类系统进行了需求分析,对其功能需求、性能需求和其界面风格进行了分析。四、论文对网页分类系统的设计与实现方案进行了分析和选择,通过分析Nutch的优点,选择了基于Nutch爬虫的数据获取模块的实现方案;通过分析SVM的优势,设计选取基于LIBSVM的.分类模块的解决方案;基于SVM算法的分类流程,完成分类系统各主要功能模块实现方案的设计。五、利用Nutch爬虫收集一定规模的网页数据,经过格式化处理后,由人工标注的网页训练LIBSVM所得到的网页分类器对其进行分类,将生成的分类结果数据库集成在基于LAMP架构开发的web平台中,最后完成网页分类系统的总体实现。六、对本论文所做工作进行总结和展望。