全球信息化建设的高速发展,各种网络应用更加深入地进入到人们生活及商业活动等各个领域。随着网络技术的普及,各种问题也随之而来:网络服务质量低,网络攻击事件多发。如何提高网络的使用效率,有效地保护计算机网络系统的安全是一个急需解决的重要问题。网络行为分析(NBA)已经成为一种重要的网络安全防护手段,能够有效地识别网络流量中未知的网络攻击行为以及网络用户的越权操作,传统的安全产品往往对零日攻击或是来自网络内部的恶意行为无能为力,网络行为分析就是解决这一问题的很好的方案。流数据挖掘技术特别适合具有连续到达、潜在无限特点的网络流量,将流数据聚类技术引入网络行为分析可以提高系统的准确性与工作性能。本文首先对流数据挖掘算法进行了阐述和分析,概述了各种挖掘算法的概念及研究成果。针对已有的流数据聚类算法对高维流数据聚类效果不好或是不具有处理混合属性数据能力的情况,改进了经典的流数据聚类算法CluStream,给出了一种流数据聚类算法GTMS,它采用基于信息增益和几何相邻的方法计算混合类型数据的相似度,使用网格及最小生成树技术,提高算法处理数据的速度。该算法对混合类型属性的流数据有较好的聚类纯度和执行速度。论文对网络行为分析研究现状进行了阐述,介绍了其技术特点,分析了网络行为分析与现有的安全技术的互补性。对系统的功能要求和性能需求进行总结分析,在此基础上,给出了一个适用于局域网环境的基于流数据聚类的网络行为分析系统模型设计方案,基于滥用检测和异常检测相结合的方法,使系统具有快速识别已知攻击行为的能力,以及发现未知的攻击类型或非法操作的能力,减小漏报率和误报率。通过仿真实验表明,论文给出的流数据聚类算法聚类纯度较好,随着流数据对象增加,GTMS算法执行效率方面的优势更明显,适合处理混合类型的流数据。改进的网络行为分析系统在局域网实验环境下具有一定的异常检测功能。