随着互联网的高速普及和发展,我国上网的人数的增长也十分迅速,网上的信息也爆炸式增多,这就导致了许多人在网上找到所需信息的效率变低。为了让用户在网上获取信息的效率提高,也为了能够吸引更多的人去了解关于海洋科普的知识,本文开发了基于自动爬虫的海洋科普网站,为海洋科普做出贡献。本网站需要实现的功能有自动对特定网站的文章进行爬虫,同时对爬虫的结果进行一些简单的处理和分类,将其存储到数据库中,并且将其在页面中展示出来。另外网站还需要有对于Springer等论文数据库的检索功能,用户可以在页面中输入需要查询的相关约束,即可得到查询结果。网站的爬虫部分需要从对应网站的网址入手,通过对网址的正则表达式分析,判断页面属于文章列表页面或者文章内容页面。然后需要通过xpath分析网页中的内容,将需要的内容提取出来,存入到相应的类中。爬虫获得文章需要进行下一步的分类操作。分类首先需要将文章进行分词,中文分词对比英文难度更高,需要对照相应的词典或者进行语义分析。分词的下一步操作是进行词袋处理和计算TF-IDF的值,这些操作都是为了将文章中关键词按照一定的规则进行提取。提取出来的关键词在进行朴素贝叶斯分类,得到相应的分类结果。目前各大论文数据库提供的搜索方式都是使用相应的API,将需求编写成相应的URL地址,然后得到JSON格式的结果。由于URL指令编写困难,再加上json格式的结果不够明确,导致搜索的效率很低,操作繁琐。因此本文设计将URL的编写自动化,将用户需要查询的相应的约束提供在页面上,供用户进行查询或者选择,这样会大大降低用户操作的难度。在用户输入了相应的约束后,系统后台会自动生成URL指令进行查询,并且在收到JSON格式的结果后对结果进行分析,将其中的重点内容展示出来,也会使得查询难度下降。两方面相结合,会使整个查询的过程更加简单易操作,效率更高。综上所述,本文设计网站的主要目的为提高用户的信息获取效率,网站会自动获得科普文章,并且对其进行分类后展示给用户,并且在用户需要进行论文查询的时候提供相应的页面,降低查询的难度。提高信息获取的效率,将会是现在以及未来网站的发展趋势。