随着互联网技术的迅速发展和普及,网络新媒体已经逐步超越传统媒体,成为人们获取信息资源的主要渠道。尤其是各大新闻网站对时事新闻快速发布和更新,使得新闻的传播广泛而迅速,人们通过网络可以及时地获取最新的新闻资讯。然而,各个网站的新闻网页分布在互联网各个角落的Web服务器中,未能统一地组织和管理,且都是以新闻事件的Web页面形式呈现给用户,这就导致互联网新闻存在数量巨大、来源繁多、格式不统一的缺点,人们难以在海量资源中及时有效地获取有价值的、感兴趣的信息,因此需要对互联网上的新闻进行收集、整理和分析,以更易于理解和查询的友好方式呈现在用户面前。互联网信息挖掘的两个重要步骤是数据采集和数据分析,本文对互联网新闻话题挖掘展开研究,主要工作包括4部分:1.在Hadoop平台上设计并实现了一个分布式新闻爬虫,利用Map Reduce框架并行计算的能力,对多个新闻网站的新闻网页并行爬取,提取网页中的新闻标题、时间、内容等信息,将不同页面格式的新闻以统一的结构存入HDFS,以便于进行新闻话题挖掘。2.在研究分析LDA模型和吉布斯采样的基础上,实现了LDA模型的基本框架。对文本集使用LDA模型建模,并使用吉布斯采样算法估算LDA模型中多项分布的参数。根据文档生成话题的概率和话题生成单词的概率,抽取出话题的热点词及其相关新闻。3.利用训练好的LDA模型预测未知文档的话题概率分布,根据文档的话题概率将其归类到相应的话题中。4.为验证以上理论的实用性,本文设计并实现了一个新闻话题挖掘系统,将挖掘出的新闻话题信息通过Web页面呈现给用户,方便用户获取话题信息和查询相关新闻。实验结果表明,所给方法可以有效地挖掘出热点话题及其相关新闻。