随着大数据的到来,数据的价值显得越来越重要。海量的数据有着巨大的研究价值和商业价值,这其中也包含电影信息数据。数据的来源以前是管理员手动输入相关的数据,现在可以通过网络爬虫代替管理员去获取网络上丰富的电影数据。但传统的爬虫不支持分布式,这往往需要花费大量的时间才能爬取足够多的数据。而分布式爬虫通过多个爬虫协同工作爬取数据可以提升成倍的效率,从而解决单个爬虫爬取效率低的问题。电影搜索系统使用分布式爬虫获取电影数据,分布式爬虫使用了Redis数据库和Scrapy爬虫框架。爬虫分为Master端和Slave端,Master端爬虫主要负责解析网页目录页,把匹配的目录页链接存入Redis以便Master后续继续爬取,同时把匹配的详情页链接存入Redis交给Slave端进行后续处理。Slave端爬虫通过查询Redis数据库中详情页链接进行详情页解析并下载数据,下载完数据后通过脚本将数据格式化后存入MySQL数据库中以便网站访问。在爬虫运行过程中,通常会遇到些问题,所以针对这些问题设计了一些中间件来解决。例如通过模仿不同的浏览器发送访问请求来防止爬虫被网站屏蔽,通过爬虫访问时返回的状态码进行不同的应对处理,通过代理IP的方式解决爬虫下载错误等问题。电影搜索系统采用Django的MTV模型进行设计,主要包含电影搜索,电影评价,电影收藏,用户注册与登录,后台管理等功能。用户登录后可以关键字进行电影查询,也可以点击链接进行电影类别,电影年份,电影制作地区等多种类查询,能满足大部分用户的查询需求。最后对电影搜索系统进行了功能测试和性能测试,验证了网站的绝大部分功能都能正常工作。电影搜索系统不仅节省了管理员导入电影资源所需的时间,还给用户提供了一个搜寻电影信息,并与他人讨论电影的场所。