随着大数据技术的飞速发展,大数据平台架构变得愈发复杂,而大数据平台对新风险的安全需求也在持续增加。当前,大数据平台的安全性主要由它的基础设施提供保障,而对于下层设施安全机制来说,缺少上层大数据应用平台异常事件的语义解释,下层的云安全机制没有能力全面检测与上层大数据分析处理平台的异常事件,传统防火墙等安全设备对异常事件无法做到有效地检测与防范。异常检测技术常用于维护大数据平台的安全性,然而传统方法往往只采用单一的异常检测技术,难以满足平台中各类场景的检测需求,是目前产业界所面临的困难问题,现如今尚未有成熟的解决方案,因此研究大数据平台的异常检测关键技术具有重要意义。针对以上问题,为了确保大数据平台的安全性,本文通过分析各类异常检测技术的优缺点,运用大数据相关研究技术,设计了一套大数据平台异常检测系统框架。本系统框架整合了多种异常检测算法,并分别对基于统计分析与基于数据挖掘的异常检测技术提出了改进算法,实现异常检测功能。本文的主要工作如下:(1)通过整合Hadoop和Spark大数据开源技术,结合分布式软件架构,设计出一套大数据平台异常检测系统框架,该系统通过收集与分析大数据平台服务器日志数据,结合多个异常检测算法共同协作,实现对网络异常的有效检测,为产业界提供框架参考;(2)针对网络异常的在线检测场景,提出了一种基于最大信息系数的在线异常检测算法。通过对日志数据进行用户活跃度建模,结合最大信息系数进行活跃度序列相似性对比,并采用Spark Streaming进行算法实现,实验表明算法能够保持近秒级的处理速度,准确地检测出当前窗口间隔内网络异常;(3)针对海量历史数据中存在的异常,提出了一种基于改进聚类分析的离线异常检测算法。通过采用改进后的聚类算法处理历史数据,进而构建簇的异常指数,从而挖掘出历史数据中的异常,实验证明该算法能够适用于海量数据背景下的异常聚类检测,在阈值合理的情况下,具有较高的检测精度。