随着互联网技术的急速发展,网络中每天都会有TB级以上的数据产生,这使得传统数据挖工作受到了挑战,大数据技术因此应运而生。大数据这一新兴学科具有极为明显的特性,首先其极大的容量与极高的运行和分析速度令传统数据望尘莫及,其次其数据的高价值与多样性也是传统数据所无法比拟的。但大数据仍然存在低值密度问题。这也是我们现在需要马上解决的问题,即如何实现快速地从这些海量数据中提取出有价值的信息。与此同时,关于互联网安全方面,我们普遍使用的入侵检测系统只单纯的进行把获得的数据和已存在的攻击模式库比较工作,这种模式对于已经存在于模式库内的攻击类型效果较好,可是对于新型攻击或者已存攻击的变种类型就无能为力了。故我们需要进一步发展和使现有的系统,适应现在层出不穷的攻击方式,从而解决现有的入侵检测系统无法满足入侵检测系统日志数量的快速增所造成的问题。由于上述问题的出现,此论文在有关大数据的入侵检测系统方面的应用进行了有深度的研究。通过解析现有的有缺陷的频繁项集挖掘算法,来主要发现并完善在现有分布式条件下的优化算法,此论文选择了当前相对完善的Hadoop分布式平台作为技术支持,由此提出完善分布式关联规则算法的全新构想。首先,在大数据处理中,当运用多台计算机协同工作,其处理模式与处理效率一向是个难题,而应用MapReduce计算模型,在云端环境下采用新算法来进行频繁项目集的挖掘要,可以更为简洁高效地做好这项工作。其次,在Snort入侵检测系统中采用并行化的频繁项集挖掘算法,能够弥补Snort对安全事件无法作出准确判断的问题。本系统能够通过预检模块来判断和区分网络行为,从中筛选出异于正常的行为,从而极大地提高检测效率;而其强大的规则动态生成模块,能够针对入侵的数据实时创建新的规则,大幅度提高了对于入侵行为的检测能力,极大地丰富完善了 Snort-IDS的功能体系并且提升了性能。