自从互联网开始普及，人们就身处在一个信息爆炸的时代，人们对待生活、工作的思维方式开始逐渐在改变。在Web2.0的UGC(User Generated Content)时代，社交网络平台作为互联网发展的一个重要分支，成为了人们很重要的沟通、交流和营销的公开平台。社交网络平台上每天产生的数据是海量的，如何运用好这些数据宝藏，成为了一个热门的研究课题。　　在数据分析方面，传统的统计抽样方法在面临海量的快速增长的数据时显得过时和力不从心，利用全体数据而不是部分抽样的数据成为了新的研究方法。为了达成该目的，仅依靠硬件的更新提速来提高机器的运算能力是无法完成的。因此，如何巧妙地运用云计算等弹性计算架构成为了人们关注的问题。社交网站作为UGC时代的支柱领域，每天都有海量的数据产生，如果能运用好这些数据，将是一笔巨大的财富。　　论文以目前新浪微博平台为研究对象，针对其在文本聚类和话题文本推荐上的不足，研究了文本聚类算法和分布式技术，改进了聚类算法和相似度计算公式，实现一个基于分布式的短文本聚类，并将聚类的结果根据用户的输入进行文本推荐的应用。论文的主要工作如下:　　首先，研究Hadoop平台下的HDFS、MapRedue和HBase三大基于Google核心技术实现的开源项目。包括Hadoop平台的优点、HDFS的读写流程、MapReduce的编程模型和HBase的结构。　　其次，阐述利用网页爬虫与微博API两种不同的微博数据抓取方式的原理并对比其优缺点，数据的预处理方法以及根据特征权重表示为向量空间模型的方法，介绍了相似度计算方法及其改进、K-means聚类算法和Single-Pass聚类算法的原理以及聚类算法选择，并对Single-Pass算法进行改进，设计了一个测试实验验证改进后的聚类算法和相似度计算方法的改进效果。　　最后，在Hadoop平台下，使用改进后的Single-Pass聚类算法和相似度计算方法，对抓取的海量微博文本进行分布式聚类，并对用户输入的微博文本进行相似的微博推荐。　　实验表明，论文使用的技术方法是有效可行的，可以较为准确地识别出微博文本中的关键话题进行相似的微博文本推荐，且对比新浪微博平台自带的搜索工具后，发现微博平台的搜索工具无法完成相同的功能，因此论文使用的方法技术具有一定的实用性、新颖性。