随着互联网的发展,信息传播方式逐渐转变为微博、微信这样的新媒体网络传播形式了,并且内容丰富,信息量大,传播速度很快,涉猎范围很广,当出现热点事件时,广大民众快速加入网络讨论中,甚至形成强大的队伍,互联网舆情事件也就随之产生,甚至有些舆论可能危害国家和谐和稳定,因此针对互联网的舆情热点发现与分析就显得尤为重要。舆情热点发现与分析不仅可以帮助决策者快速发现网民聚焦的话题,并且还可以分析预测舆论方向和趋势,帮助决策者针对可能发生的网络舆情风暴提前进行预防工作。由于互联网爆发式的数据增长模式,传统的技术在获取和存储海量数据已经越来越难满足性能要求,因此,基于大数据的背景,设计并实现能够实时发现和分析互联网舆情热点的方案具有重要的意义。针对以上分析,本文分别完成了以下工作:第一,设计并完成了针对新浪微博平台发布信息的实时增量爬虫,给出了基于树结构的正文抓取算法和增量式网络爬虫方法。第二,给出了热点话题发现模型,针对发现过程中的文本预处理,给出基于网络新词发现的中文分词算法,并结合Hadoop平台,通过实验验证了该算法的有效性。第三,在话题分析上,分析了多种聚类算法,最后选择了增量聚类算法Single-Pass,并且针对该算法对数据顺序敏感的缺点以及当聚类数量急剧增加求解效率明显下降的问题,给出了改进的Single-Pass聚类算法,最后分析了互联网舆情的特点,给出了互联网舆情热点分析模型。本文所给出的增量式数据采集方法,可以有效减少冗余数据,提高采集效率。对比传统文本挖掘模型在处理大量数据效率低的问题,本文所给出的热点话题的发现与分析方法,在一定程度上可以解决该问题,具有较高的实用价值。