论文部分内容阅读
近年来随着网络越来越发达,普及率越来越高,每天、每时、每分、每秒产生在互联网上的数据数以亿计。这些数据涉及到生活、科技、军事等等各个领域,方方面面。这些数据有正面的,有负面的。对于很多企业、单位来说,一个负面信息特别是一个不真实的负面信息的广泛传播可能会影响公司股价,影响公司形象,对公司、单位的公信度都会有很大的影响。如何在如此复杂的网络世界中尽快发现这些负面信息以及不利于公司、个人的网络言论就成为了关注的焦点。本系统的目的是为了更好的服务大众,使公司、企业、个人用户能够尽快发现对其不利的负面消息,将负面信息扼杀在摇篮中,损失降到最低。本文针对用户迫切希望尽早在网络中发现负面信息的需求,设计并实现了一套网络舆情爬虫系统,系统涵盖如下功能：1、网页下载与信息过滤：系统采用基于关键词的定向爬取的方式从众多数据源获取大量HTML网页信息。并将已经存在的页面信息过滤掉。2、关键内容抽取：采用基于ontology的抽取方式和基于HTML页面结构抽取方式相结合的方法针对下载得到的网页抽取关键信息。3、数据更新与存储：采用改进的泊松过程预测算法和固定爬取时间相结合的方式对数据源网页信息进行更新；使用MongoDB构建的分片集群数据库平台作为系统数据的持久化存储平台。4、任务队列与爬虫状态监控：使用构建的任务队列系统管理和控制爬虫模块的任务状态。使用HOSTED GRAPHITE对系统的运行状态进行实时监控。本项目的研究和实现,极大程度上满足了企业、个人和单位迫切希望尽早发现负面信息的需求。对舆情监控有着重要的意义。