论文部分内容阅读
大数据时代,新浪微博已成为国内最大的信息平台之一,笔者提出了一种基于新浪微博数据采集的设计与实现方法。通过对比选择爬虫网站,采用Cookie登录、单对象、爬取进度可视化等方法依次剖析每个阶段遇到的问题及解决办法,旨在实现高效、稳定、快速的数据采集。最后将获取的结果存入MongoDB数据库可供后续进行大数据分析研究,得到对私对公有意义的分析结果。