社交网络服务(Social Networking Services,SNS)是以人和人之间的关系为基础构建起来的用于信息发布和分享的平台。它和在线社区有着本质的区别—在线社区是以信息本身的某属性维度来组织的,通常以内容为中心,如天涯社区；而社交网络则以用户为核心,注重用户间的关系和信息分享,如新浪微博。SNS的概念起源于社会网络研究者提出的“六度理论”,即最多通过六个人就能认识任何一个陌生人。SNS将现实生活中的人际关系搬到了互联网,且目前约有一半以上的中国网民通过社交网络沟通交流,分享信息,它已然成为覆盖用户最广传播影响最大、商业价值最高的web2.0业务。Gartner报告指出,85%的大数据属于广泛存在于社交网络、物联网、电子商务领域的非结构化数据,因此,对于社交网络的数据抓取和挖掘的研究非常重要,本文将在这两方面做一些探究。目前,对于社交网络数据抓取通常基于开放API,对网络数据进行简单的抓取和存储,导致巨大的开发和维护成本,并且不利于对关系数据进行挖掘利用。本文提出了一种基于社交网络自身特征的抓取和存储框架。框架将区分社交网络的内容信息和关系信息,针对性地进行抓取和存储,并且在抓取和存储之间形成反馈机制,支持开发者扩展业务相关的动态抓取策略。同时,框架对抓取和存储子系统进行层次化建模,提供交互式动态页面抓取、增量式抓取、异常恢复、自定义模块等功能,方便开发者对系统的复用和扩充。此外,本文对社交网络中的社团现象进行探究,提出了一种基于局部中心节点距离向量聚类的非重叠社团发现算法。与目前的算法进行比较,真实网络中的隐藏社团结构可以被更好的挖掘出来；对于社团数量已知的情况,可以利用k-means等聚类算法更好地提取出隐藏社团结构。社交网络区别于普通互联网服务,更关注用户间的关联关系,因此,本文所做两方面研究将“用户关系”放在核心地位。同时,结合这两方面的研究,我们可以自动化地获取社交网络数据并发现其中的社团结构。