论文部分内容阅读
随着WWW技术的广泛应用,传统的通用搜索引擎正面临巨大的挑战,存在着查全率不高、检索的精度不高、更新不及时、不能很好地表达用户需求,呈现给用户的搜索结果中包含大量与用户无关的信息,同时,对于越来越多的不同领域的客户群,他们急需的是能够提供高效检索其业内信息的专题搜索引擎。专题搜索引擎(Topic-specific Search Engine),通过定点采集、定题采集、网站结构挖据等的方法来提高检索的查全率和查准率,保证其较高的时效性、专业性并提供更好的个性化服务,从而可高效地发掘特定领域的信息,提供有特色的检索服务。因此网络爬虫的设计是专题搜索引擎的核心,本文阐述了基于agent的专题搜索引擎的爬虫的设计及相关关键技术,本文的主要工作有:1.在分析搜索引擎技术、agent自适应技术和机器学习研究现状基础上提出了一种基于agent专题搜索的爬虫框架CFATSS(Crawler Frame of Agent-basedTopic-Specific Search)。2.提出了一种基于词表和统计相结合的分词算法,利用改进的Salton的向量空间模型VSM(Vector Space Model),将web结构挖掘和内容挖掘结合起来,设计了一种基于支持向量机特定主题的自动分类算法。3.提出了一种基于Q学习的搜索策略算法,该算法结合网页评价技术及链接结构技术,并利用agent自适应性,通过减少一定程度上的搜索贪婪性从而比较有效地避免了传统的启发式搜索引擎的容易过早陷入Web空间中某些局部最优子空间的陷阱。4.使用面向对象的语言Java实现了CFATSS,并根据北京大学(简体版)语料对中文分词模块进行测试,并分别对网页分类模块和基于Q学习的搜索策略算法性能进行验证,实验结果表明CFATSS在分词的歧义切分、网页分类的正确率以及系统的查全率和查准率都有一定的提高。