论文部分内容阅读
随着互联网的兴起以及社交媒体的快速发展，网民可以在线自发的、不受时空限制的对各种社会现象、社会问题进行集体讨论。网络已经成为反映社会舆情的主要载体之一。因此，对网络舆情的分布规律和分析方法进行研究具有重要的意义。 论坛是一个重要的网络媒体，正日益成为网络舆情的主要数据来源。本文以国内最大的论坛天涯论坛为数据来源，采用网络挖掘技术，构建了天涯论坛视点2.0系统，从在线行为分析、热点事件探测和观点挖掘等方面对舆情数据进行了挖掘。该研究丰富了网络舆情研讨厅的机器体系，也是综合集成方法在网络舆情研讨厅中的一个实践应用。本文主要的研究内容包括: 1)构建了天涯论坛视点2.0系统。该系统利用网络爬虫每日定时对天涯论坛进行定向抓取，采用MySQL数据库与XML文件系统相结合的方式完成数据存储，并利用Lucene构建索引，以满足快速检索的需求。然后利用以下的网络舆情分析算法对数据进行分析，并通过用户界面展示分析结果。 2)对在线行为进行了分析。发现帖子的点击量、回复量、生存期以及用户的发帖量均在一定程度上满足幂律分布，极少数的帖子吸引了大部分的关注。进而提出了帖子的热度计算公式，指出大部分的热帖是无风险的，并通过邮件推送功能将每日热帖推送给研究人员。 3)对热点事件探测技术进行了研究。提出了一种结合文本聚类与行为分析的热点事件探测方法，该方法利用文本聚类发现事件，经过比较发现层级式聚类可以取得较好的结果;然后利用事件的热度计算得到热点事件。该方法用于每日的热点事件探测，并将结果通过邮件推送。 4)对观点挖掘技术进行了研究。设计了基于情感词典的观点挖掘方法，该方法适用于长文本分析。然后对关于中医的研讨过程从行为和立场两个方面进行了分析，发现在观点挖掘的研究中应将情感与立场区别对待，具有重要的意义。