随着互联网技术的飞速发展,越来越多的网络媒体出现在我们的日常生活中,微博凭借其信息多样性、发布消息的实时性等特点,已成为大多数用户交流和获取信息的重要平台。在微博平台上,每日都会涌现出海量的微博数据,怎样从这些数以百亿计的信息当中及时发现潜在的热门话题,对政府机关监测舆情、企业管理者做出相关决策、普通用户获得社会热点信息变得尤为关键。本文以从微博中提取热点主题为背景进行研究,主要工作内容如下:1.论文首先详细的总结了微博热点主题发现所用到的关键技术,其次简要的阐述了包括中文分词技术、文本表示模型、文本相似度计算以及常用到的文本聚类算法,并指出了各种聚类算法的优缺点。2.设计了一个微博热点主题发现系统。首先采用微博API接口采集数据,并对采集的数据进行筛选和清洗;其次把过滤后的徽博数据做文本预处理,再利用NLPIR分词系统进行中文分词,同时,采用整合的停用词表去掉停用词;然后进行文本向量化,利用TF-IDF方法计算文本中每个词的权值并排序,提取出关键词;最后通过改进的K-means算法进行关键词聚类操作,使用微博的热度计算公式对聚类结果进行热度计算,并按顺序进行排列,得到微博热点话题的列表。3.针对K-means聚类算法依赖初始聚类中心选择的问题,提出一个基于Hadoop的分布式混合聚类算法。首先利用Canopy算法对文本向量化后的数据进行一次聚类,将获取的微博数据集划分为K个初始类;其次把获得的K值作为K-means算法的初始聚类中心,利用K-mcans算法进行二次聚类。通过对爬取的微博数据进行实验分析,结果表明,改进后的K-means算法比单一的聚类算法在查全率、查准率以及F1值上均有所提高,同时能够有效的发现微博热点话题。