社交媒体作为web2.0时代的标志，提供了以用户为中心的各种交流模式和途径。用户在社交媒体上发表和传播消息，关注自己感兴趣的人物。社交媒体中一般拥有数以亿计的人物节点，他们之间通过关注和粉丝关系连成了巨大的社会网络，消息通过这张巨大的社会网络传播。大部分社交媒体提供API以便获取社交媒体数据进行相关研究，但是由于API的相关限制造成数据获取困难，直接造成研究无法进行。所以对于社交媒体爬虫的相关技术研究具有重大意义。本文主要以国内微博媒体为研究对象，主要针对新浪微博，研究微博爬虫的相关技术。本文研究的技术包括：爬行策略研究与实现、微博数据获取研究与实现、微博数据去重设计等。本文工作如下：首先分析微博爬虫的主要问题。在该部分本文介绍了基于Hadoop的分布式框架技术、基于hbase的分布式数据存储技术以及微博数据的获取方式、去重策略和存储策略，提出一种基于Hadoop的微博爬虫框架，以UID和MID为主键的分布式No-SQL设计思路，获取微博数据的两种主要方式的相关背景和主要流程，比较多种微博数据去重策略。其次研究面向微博主题数据和个人数据获取技术。在该部分重点介绍了基于新浪元搜索和主题相关关键词的主题定位技术以及新浪微博的模拟登陆技术，分析了主题爬虫的爬取效率。最后研究微博全网数据的网络爬虫。分析了人物爬虫相关框架技术和多种人物爬虫的爬行策略，实现广度优先爬取、深度优先爬取和UID遍历技术的相关爬行算法，对不同的爬取策略和不同种子人物节点对微博爬虫效率的影响进行试验研究，研究和实现一种基于用户活跃度的微博内容爬虫。