支持Splog过滤的博客搜集系统研究与设计

被引量 : 0次 | 上传用户:liudongjiw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为Web2.0的新兴网络应用,博客近年来正处于蓬勃发展和快速演变之中。博客范围内的海量博客信息极大地方便了人们的生活,使得人们以往的工作方式、学习方式甚至是生活方式都发生了改变。然而,博客空间的兴起也连带产生了一个副产品:垃圾博客(Splog)。垃圾博客的存在不仅是对网络带宽资源及存储资源极大的浪费和消耗,更重要的是它增加了网民获取高质量信息的难度,降低了用户进行网络搜索体验的满意度。本文的研究是建立在对其他网络垃圾(Web Spam)作弊技术进行分析的基础之上,运用了文本分类的技术思想,结合垃圾博客本身“链接工厂”和“广告博客”的本质属性,提出了两种特征提取算法模型:本地特征提取模型和全局特征提取模型,用以完成对垃圾博客的特征提取工作。随后,本文采用支持向量机作为实验中的自动分类算法,运用本文提出的算法模型对博客网页进行分析和特征提取,并以正确率、查准率、查全率对分类效果进行评价。最后,本文在开源搜索引擎Nutch基础上,实现了带有过滤垃圾博客功能的博客网页搜集系统。
其他文献
高素质的知识型员工是软件企业最宝贵的资产,科学高效的人力资源管理是软件企业成功的关键。同时知识型员工的个性特点和软件企业工作流程的特点,对企业的人力资源管理提出了
<正> 慢性胰腺炎是指胰腺的复发性或持续性炎性病变。祖国医学文献对本病虽无专著,但类似胰腺炎的症状则散见于脾心痛、脘痛、结胸等论述中。笔者以中药治疗慢性胰腺炎取得了
中国共产党新闻舆论思想形成和发展的过程是一个长期积累,不断充实,日益成熟的历史过程.新民主主义革命时期的新闻舆论思想是中国共产党人运用马克思列宁主义理论指导中国革
北京市贯彻落实习近平总书记提出的"节水优先、空间均衡、系统治理、两手发力"新时代水利工作方针,积极推进节水型社会建设。站在新的起点,北京内化于心,外化于行,按照新时代水利
一个地区的自主创新能力受到很多环境因素的制约和影响。本文详细论述了高新技术企业自主创新的环境影响因素,并分析了各环境影响因素对高新技术企业自主创新的作用,以及各个环
粉葛是甘葛藤(Pueraria thomsonii Benth.)的干燥根,是一味常用中药。近年来,粉葛综合利用价值日益提高,已成为重要的药用植物和工业生产原料。本实验对粉葛快速繁殖体系及试管
本文在运用区域经济学有关理论对县域经济发展理论进行论述的基础上,对长沙市所辖的浏阳市、长沙县、望城县和宁乡县四县的县域经济发展现状进行了比较研究。站在湖南省看长沙
随着全球各国之间经济、政治、文化联系的日益加强,英美票据法系与日内瓦票据法系也表现出了日益融合的趋势。英美法上的一些概念比如“对价”、“正当持票人”等概念也逐渐