论文部分内容阅读
随着信息技术的发展,互联网已经成为政府、企业和网民发布、获取信息的重要平台。由于互联网信息分散的特点,相关信息往往会被分布在网络各处,仅凭人力难以及时发现热点问题和追踪相关信息。因此,热点话题发现与追踪系统有利于政府相关部分掌握情报,高效和科学的决策,促进社会进步和稳定,同时普通网民也能及时了解自己感兴趣的话题事件的发展情况。话题检测与跟踪系统就是为了这个目标设计的,它旨在从大量的互联网数据中找到热点问题和人们关心问题的后继报道。本文来源自宁波政府的网络舆情系统的一个子任务,研究网络热点话题的发现与跟踪。本文重点对热点话题发现与跟踪进行研究分析,在已有的技术手段上对其进行改进。本文的研究内容有:1.提出一种改进的Single-Pass聚类算法的在线话题识别方法。本文研究了话题检测的具体流程,和影响话题检测的准确率的关键问题如对文本表示、相似度计算和聚类策略,并对这些问题做出了改进。还分析了Single-Pass算法存在的效率问题,并利用倒排索引和BM25算法,在损失少量精度的情况下极大提高的算法的运行速度。2.提出一种话题热度评定的方法。此方法假定话题中的文本具有相同的热度,然后按牛顿冷却定律降低,结合话题中的文本出现时间和数量信息,来评价话题热度,给话题进行排序,方便人们阅读。3.提出一种改进的自适应KNN话题跟踪算法。该方法利用2统计量提取跟踪话题特征,然后利用自适应的KNN的方法跟踪话题,并实验证明算法可以达到良好的效果。4.在相关技术的基础之上,本文设计了话题检测系统的构建框架,介绍了各模块的功能。并通过实际运行,证明了方案的具有较高的可行性。最后,实现了在线话题检测的系统,并测试和分析系统的有效性和稳定性。