随着社会的发展,数据正以指数级不断增长,数据已成为社会的信息资产。面对如此海量的数据,从网络上搜索信息已经成为人们工作、生活必不可少的方式之一。数据的全面性、准确性成为用户追求的终极目标。传统聚焦爬虫技术已不能满足人们对信息搜索的精准要求,聚焦爬虫技术的改进和优化成为目前研究的焦点。互联网技术的迅速发展,促使人工智能技术AI成为近几年学者研究的新浪潮,考虑到人工智能技术应用的广泛性,将人工智能技术与聚焦爬虫技术相结合,为聚焦爬虫技术的研究提供新方法和新途径。通过研究国内外大量聚焦爬虫相关领域的技术,本文针对目前聚焦爬虫系统存在的问题,提出一种改进的朴素贝叶斯分类算法,以及优化的遗传算法,并将其应用于聚焦爬虫中,设计一种基于Scrapy的聚焦爬虫系统,具体工作内容如下:（1）构造经济社会、人工智能、安防等不同主题的分类器。通过对朴素贝叶斯分类算法、特征选择以及特征加权技术的深入研究,提出一种改进的贝叶斯分类器,通过样本训练构造主题分类器,用于判断网页主题的相关性。（2）基于优化遗传算法的聚焦爬虫搜索策略研究。通过深入研究遗传算法的特点及其应用,本论文将传统遗传算法进行了优化。综合考虑基于内容评价的搜索策略和基于链接评价搜索策略的特点,重新设计遗传算法的适应度函数,提出基于优化遗传算法的聚焦爬虫搜索策略。（3）基于Scrapy的优化遗传算法的聚焦爬虫系统设计与实现。引入改进的朴素贝叶斯分类器和优化的遗传算法;通过对网页内容进行正文提取,并利用分类器预测网页主题,同时采用基于优化遗传算法的搜索策略,指导爬虫搜索方向,结合多线程技术,实现了基于Scrapy的聚焦爬虫系统设计。（4）算法实现与实验分析。将本文所设计的聚焦爬虫系统应用于实际项目中,在各大网站上采集以经济社会、人工智能、安防为主题的网页。实验结果表明,在抓取一定量网页后,相比基于传统遗传算法搜索策略、基于Best-First算法搜索策略以及PageRank算法搜索策略的聚焦爬虫系统,本论文所提出的基于优化遗传算法的搜素策略的聚焦爬虫系统,准确率提高近7%左右,且在爬取相同时间条件下,所获得与主题相关网页数量最多。