论文部分内容阅读
互联网的广泛应用使得网络舆论成为社会舆论的重要组成部分.如何实现对网络舆论的监测成为当前的研究热点。文章研究了以电子公告板系统(BBS)为对象的舆情监测系统的功能和结构,重点讨论了系统中的数据采集部分,给出了解决数据采集性能的URL队列管理、抓取线程管理、冗余URL排除、页面过滤和解析以及数据的分布式存储等问题的方法。