随着信息技术的飞速发展，人们的工作和生活对互联网依存性越来越高，各类涉及个人信息与公共安全的重要数据在网络上存储与转发，网络安全技术的研究是当前重要的研究方向。网络异常行为检测技术是网络安全技术的一个分支，基于流量特征建模的网络异常行为检测技术通过对网络流量进行特征匹配与模式识别，进而检测出潜在的恶意入侵的网络流量，是网络异常行为检测的有效手段。　　基于流量特征建模的网络异常行为检测技术的优化与改进涉及准确性、实时性、自适应性、兼容性等方面，其中“准确性”指的是异常流量以高概率被检测出，且QoS不会因为应用了该技术而显著下降;“实时性”指的是检测器以尽可能快的速度发现异常流量并告警，同时检测器能够在待测数据迅速变化的环境中实时调整自身参数。“准确性”的提高可以通过选择特定模型、特征工程、增加迭代深度来实现，但这些工作会使得模型复杂度提升，反过来抑制了“实时性”的提高，两者相互制约，本文重点研究如何在保证流量检测准确性的前提下，设计合适的流量检测算法和训练迭代算法，尽可能提供较高的实时性，达到准确性和实时性的平衡。　　本文通过设计在特定指标上优化过的神经网络与统计算法，在保证准确性的同时，提高分类器训练的实时性，进一步使得分类器具有多任务并行和特殊处理特定网络流量的能力。本文主要的研究工作与相关成果包括:　　(1)基于卷积神经网络的网络流量分类器准确性优化　　针对网络流量分类中，基于通用卷积核的CNN分类模型准确性不足的问题，提出一种在1D-CNN上实现的使用随机策略的分类模型。该模型基于BoF投票思想，将流量按照三元组分类装进不同的“袋”中。在每个袋中随机选取一定量的“代表”流进行CNN分类得出标签，每隔一个时间段更新一次标签，最后由这些“代表”流的标签投票决定这一袋流量的分类性质。模型在对“代表”流进行分类时，针对流量结构特征使用了根据一定随机规则生成的不定卷积核Stochastic Pooling Window;在标签更新时，实行了随机投票窗口策略Stochastic Voting Window以减少标签更新的迭代时间，更快收敛到最优分类。基于该模型的实验表明，该模型对常见流量的分类F-measure有着显著的改进作用，平均值从92％提升到97％且不同协议的F-measure方差均有下降。　　(2)基于卷积神经网络的恶意流量分类器训练迭代优化　　针对网络流量分类的实时性问题，提出一种基于Ant-Colony的启发式聚类算法，用于实现启发式的卷积神经网络CNN训练加速。基于此，利用CNN在图像处理方面的优势，将原始流量数据映射到二维空间，将流量检测问题等价转化为图像处理问题。在每次CNN训练迭代之前，应用基于Ant-Colony的聚类算法定位训练集流量中最具分类特征的部分，下一步的迭代训练将以这些聚类后的、更具有分类特征的流量为主，如此便能较大程度避免花费在无用流量上的训练，让每次迭代都能获得损失函数的有效下降，加快训练速度。实验表明，该方法不仅仅得到了超过96％的精确率和94％的召回率，同时在适当的神经网络参数调整下，把训练时间大大降低到原来的72.8～78.2％。　　(3)基于卷积神经网络的异常流量检测分类器多任务并行设计　　为了进一步提高CNN分类器的实时性能，设计了一种基于CNN的多任务学习系统(Multi-task Learning System)，该系统以一个三层CNN为主干，通过对不同隐含层输出值的整合，并选择适配的损失函数，可在同一个主干上同时获得不同任务的输出层。这就可以用合适的计算代价对计算复杂度不同的任务实现高准确率的检测。这个系统可以同时完成恶意软件检测、VPN封装识别和Trojan（木马）分类等任务。在公共数据集CTU-13和ISCX上的实验表明，在获得98％的准确率与召回率的同时，三任务的训练时间缩短到当前最优方法的36.15～42.25％。　　(4)基于模糊解析和模糊测试的特定网络协议安全性检测优化　　针对数据库系统中DB2协议的多客户端网包异构给安全解析带来的错误识别问题，采用基于中间人的模糊解析技术，实现对多种不同版本DB2客户端流量的正确解析，提升网络流量异常检测能力。另一方面，在传统工控协议漏洞模糊测试的测试包生成机制中，若过于注重对协议规则的符合程度则不利于生成能探查出漏洞的异常包，若提升异常包生成概率则容易生成不符合协议规则的无效包，两者都影响漏洞探查的效率。采用基于RNN的模糊测试技术，利用该模型的序列记忆能力可以快速模拟生成具有异常流量特征的测试流量，实验结果表明该技术生成的包符合Modbus-TCP协议规则，并将Modbus-TCP协议应用系统的漏洞探查的期望时间消耗减少43％以上。