随着现代网络技术的不断更新,适合人们进行交流的平台也在逐渐增多,目前使用比较广泛的平台有微博、微信、QQ等。本文主要以微博为研究对象,使用最为广泛的微博是新浪微博,近些年微博的使用人群在逐渐增多,访问微博的数据量也在突飞猛涨。微博具有长度短、传播速度快、影响范围广等特点,因此如何在海量的微博文本信息中搜索查询出有研究价值的信息和资料成为国内众多学者研究的热点。本文从实际出发,根据微博的文本特点选取微博文本信息网页抓取的方法,本文选用的方法是首先搜索出站点使用的地址,然后根据地址全面查询该地址上的信息,并通过一定的技术进行解析,解析的方法一般采用HTML网页解析技术,最后将获得的文本信息存储到数据库中。在获取微博文本信息时,难免会有重复微博或者广告微博,这里采用一定的算法将无用的微博信息过滤掉,从而提高微博信息分类的准确性。接下来将存储在数据库中的微博信息文本进行预处理、文本表示、特征提取以及分类器评价等一系列操作。考虑到微博文本数量庞大可能导致微博分类系统运行速度缓慢的因素,本文引进了Hadoop分布式集群,大大提高系统的运行速度以及数据处理的准确性。本文设计的微博分类系统是基于MapReduce编程VSM算法的并行化研究,该算法的使用能保证训练微博文本语料进行分类的准确率。经过系统的测试证明,本文设计研究的基于Hadoop技术的微博文本分类系统进行文本分类的准确率得到大大提高,分类的运行速度也得到质的飞跃。因此本文在微博分类研究领域迈出坚实的一步。