在信息爆炸的大数据时代,人们的生活、工作和思维方式逐渐在改变。对于数据分析而言,传统的抽样方法有悖于数据量的增长态势,使用全体数据取代随机抽样成为时代的发展需求。为了实现这个目标,仅仅依赖摩尔定律来提升计算性能是远远不够的,云计算等弹性计算体系架构逐渐受到关注。社交网络作为互联网发展史上的一个重要和成功的应用领域,也是大数据时代的重要数据来源之一。这不论对于社交网络服务提供商自身还是对其商业伙伴,乃至对于社会科学研究领域而言,都是巨大的财富。本文针对目前国内主流微博网站在自动话题识别和归类上的欠缺,研究基于分布式聚类算法和信息检索技术,并结合语义相似度计算模型,实现一个能够根据内容对微博按话题聚类,并以此为基础向用户推荐相似话题微博的应用。论文的主要工作包括以下几个方面：首先,研究探讨MapReduce编程模型的基本原理,就开源框架Hadoop对其工作流程、容错和任务调度机制的实现进行分析,并探讨MapReduce用于大数据处理的核心思想和基本流程。其次,阐述k-Mean、Canopy两个经典聚类算法的原理以及它们在实际应用中的结合方式,同时研究算法并行实现的可行性及策略并基于MapReduce模型给予实现。最后,总结向量空间模型和语义方法在文本相似度计算上各自的优缺点,提出了一种综合TF-IDF和语义的文本相似度计算方法,详细论述该方法的思想及计算过程,将此作为微博文本聚类的距离度量依据。实验结果表明,论文中的技术和方法是切实可行的,能够较为有效地识别出微博中的话题并给予用户特定的推荐和反馈,从而改变用户浏览微博的习惯,具有一定的实用性。