随着信息化的迅猛发展,大数据时代已经来临,互联网已经深入到我们日常生活的各个方面。依据《中国互联网发展报告（2019）》报告可知,截止至2018年底,中国网络用户整体数量已经来到8.29亿之多,2018年单年增加网民数量超过5663万,中国全国范围内互联网普及率更是来到了较为可观的59.6%,相较于2017年同比增加达到3.8%。作为网络起步较晚的中国,如今在网络普及率方面依然超出全球均值2.6%^[1]。在网络用户数量持续爆发背景下,互联网加速深入社会的各方各面和人们生活变得密不可分,人们日益习惯通过互联网这一快速直接的方式来反映自己的所见所闻和所思所想,信访、上访、听证会、民意调查等传统方式来反映和收集社情民意因其具有一定的滞后性越来越受到快速信息化的冲击。在享受互联网带来快速便捷的好处时,也导致互联网上充斥着各种各样的社情民意。面对着如此庞杂繁多的社情民意,如何从中挖掘出有价值的社情民意,快速有效的了解网民真正的心理诉求,及时引导社情民意朝着有利的方向发展变得日益重要。因此本文围绕着大数据坏境下社情民意的收集和挖掘为中心,通过网络爬虫技术收集社情民意和数据挖掘技术建立社情民意挖掘模型,试图挖掘出有价值的社情民意为政府治理社情民意引导其发展提供依据。首先本文介绍了大数据环境下社情民意面对的新形势和新挑战,引出现阶段社情民意研究的背景和实际意义,并且进一步对国内外社情民意的研究现状进行梳理。在此基础上详细介绍了与社情民意相关的理论基础和网络爬虫技术、数据挖掘技术;其次通过python软件对湖南省红网进行网络爬虫,详细的介绍数据样本选取方法,网页解析方法,爬虫模块及系统的设计方法。在数据样本获取成功后,研究社情民意数据预处理方法,从而方便之后的分析收集相关的社情民意信息;最后通过改进Single-pass算法建立社情民意数据挖掘模型,挖掘出网民关注的社情民意热点,总结某一时段内社情民意热点的传播规律及特点,分析社情民意在治理中存在的问题及原因,同时提出相应的改进意见。