作为一种社交媒体,微博越来越成为用户分享、传播和获取信息的平台,微博包含了大量有价值的信息,已经成为一个典型的大数据资源,对微博数据的分析和挖掘成为当前的热点。在商业上,通过微博进行及时高效的营销亦成为一种新的商业模式。然而,由于微博信息量大、时效性强、信息碎片化,传统的分析技术和方法难以高效准确的完成数据处理。而Hadoop生态系统的兴起与发展为大规模数据的存储与分析提供了有效的技术手段。本文就是在此基础上,设计并实现了基于Hadoop的微博数据采集、分析系统,并为商业营销和决策提供数据支持。具体而言,本文主要完成了以下工作:(1)微博数据采集与存储:研究了基于Python语言的Scrapy数据爬取框架和爬取机制,并在此基础上实现了新浪微博的数据采集;设计并实现数据库存储结构,实现微博文本数据的持久化存储。(2)微博文本预处理及文本向量化建模:对微博文本进行抽象化和数学意义上的表征是进行后续数据挖掘的重要基础。本文基于Hadoop分布式处理平台,使用中文分词处理技术对收集到的微博文本进行分词处理和词性标注,并使用了改进的基于MapReduce并行计算框架的TF-IDF对微博文本的关键词进行提取,并依据其权重对微博文本建立了向量化模型表征。(3)营销业务分析:微博热点话题发现和用户情感分析是进行营销业务的核心基础,微博数据量较大,本系统使用了分布式平台和并行计算框架,使用聚类算法对微博热点话题进行统计和发掘,并使用了情感词典和机器学习的分类方法对用户评价信息给予情感偏好分析,为营销业务给予反馈和改进建议。综上,本系统是一个集微博数据采集,当前实时热点获取和用户情感倾向分析挖掘于一体的综合性系统。通过该系统,为商业产品的营销及反馈提供了可信的数据支持。