农业领域内的信息化建设历经多年,取得了较为优异的成果,各大网站上的农业信息资源百花齐放。但是,由于农业信息化进程开展在旧有体制框架下,其根基较为薄弱,使农业信息资源具有海量性和分散性的特征,造成了日益丰富的网络信息资源与缺乏个性化的数据采集平台之间的矛盾,农业信息资源的浪费和采集平台的贫乏共存。在这种情况下,如何对农业领域数据采集方式进行革新换代成为了现代信息技术在农业领域的重要应用型课题。网络爬虫作为采集数据的工具常常是解决这一问题的关键。针对上述问题,本研究以Python和Scrapy框架环境为基础,以农业领域的气象网站与农产品价格为爬取对象,探索性地设计了一种基于BERT模型的主题内容识别算法,用于评估待爬取网页链接与主题内容的相关性,最后实现了基于Scrapy-Redis的分布式农业网络数据采集平台。本研究的全部工作主要分为5个部分:（1）针对传统搜索引擎返回结果不具有行业化的缺点,本研究设计了一种基于Python的Xpath主题内容提取算法与一种基于BERT模型的农业主题内容识别算法,重点研究了通过基于BERT模型的农业主题内容识别算法如何评估网页链接与主题内容的相关性,并将其应用于采集农产品价格的项目中。研究表明,该算法在农业领域的自然文本分析方面有相对较高的识别效果。（2）针对网络爬虫技术能否应用在农业领域的问题,本研究选用了操作简单、功能完备的Scrapy框架,设计了一个基于Scrapy框架的农业气象网络数据采集的试验,验证了Scrapy框架在农业主题领域的适用性,也为随后使用网络爬虫采集农业网络数据奠定了基础。（3）针对通用网络爬虫采集信息速度慢的缺点,设计了一个基于Scrapy-Redis的分布式爬虫框架,并将其应用于农产品价格的采集中。主要是针对农业领域的项目二次开发Scrapy单机框架中的Schedule组件与Item Pipeline组件,使其能完成分布式采集的任务。分布式模块由1个Master主机、4个Slave从机组成。研究表明,与单机网络爬虫相比,分布式爬虫在采集数据速度上有成倍的提升效果。（4）针对部分网站对于爬虫程序的攻击,设计了一个保护爬虫机制,预置了一些应对反爬虫的策略,如通过发送User-Agent校验反爬、调整访问频度等,有效地规避了被攻击的风险,加强爬虫系统的鲁棒性,巩固农业领域网络数据平台的稳定性。（5）设计了一个面向农业领域的网络数据采集平台。使用Qt等程序框架,对所设计的各个采集模块进行可视化界面设计。基于以上工作,本研究将所设计的主题内容识别算法和网络爬虫技术相结合,实现了一个基于Scrapy-Redis的分布式农业网络数据采集平台。