近年来发生了多起食品安全事件,这些事件在爆发后引起了大众和国家对食品安全问题的重视与担忧,食品安全成为人们关注的焦点。另一方面,伴随着我国互联网的高速发展,国内网民数量急剧增加,微博、微信、博客等媒体已经成为发布舆论的主要阵地,而相关的食品安全信息呈现出海量的数据规模、快速的数据流转、多样的数据类型和价值密度低这四大特征,并且在获取、存储、管理、分析等方面已经大大超出了传统数据库软件工具的能力,所以食品安全信息的监测分析对预防与监控食品安全事件的发生和发展有着重要的意义。本文首先介绍了食品安全大数据监测分析的研究背景和现状,阐述了设计大数据舆情监测分析系统的目的和意义。其次根据食品安全舆情的特点和系统需求进行技术选型与模块划分。之后在实现过程中采用基于Scrapy的主题爬虫程序收集微博上的与食品安全相关的舆情数据,搭建了 Hadoop与Spark相互结合的可用于对大量数据进行存储与研究的平台。本系统采取在多个本地节点上部署HDFS程序的方式来提供储存大量数据的能力,并通过专为大规模数据处理而设计的快速通用的计算引擎Spark对数据进行分析计算。分析计算包括基于K-means的话题发现与基于Fasttext的情感分类,其中由于得到的舆情数据大多为短文本,所以本文对现有的短文本情感倾向性分析算法进行了研究,发现随着信息体积的不断膨胀,传统的判断情感方向的方法速度变得较为缓慢,早已不能满足用户对高速处理大量短文本文档的要求。所以针对此问题,本文利用Facebook开源的一个词向量与文本分类工具Fasttext对短文本舆情数据进行情感极性的判断,并通过实验找到了适合中文短文本的Fasttext参数,该算法在提高情感分类准确率的同时,也将分类时间由数天缩短到几秒钟。本文开发实现了基于大数据的食品安全监测分析系统。该系统可以对食品安全舆情信息进行采集、存储、分析、并通过前端页面可以实时展示舆情发展趋势、判断舆情极性。在系统开发的最后也充分考虑到系统的可扩展性,为以后添加其他模块预留了空间。