近年来,网络安全事件在全球范围内频发,人们愈来愈重视网络安全风险。随着大众安全意识的增强和网络技术的进步,加密方案在网络通信中得到了广泛应用。由于传输层安全协议（Transport Layer Security,TLS）具有良好的安全性和兼容性,使得其在网络流量中占比越来越大。但是流量加密技术是双刃剑,在保护用户隐私的同时,也为网络威胁参与者提供了伪装载体。因此,有必要对加密流量进行异常检测,提升网络安全防护水位,保障业务网络正常运营。传统的流量异常检测方法在面对流量类型复杂、特征抽取困难以及流量加密等现实条件时,表现不佳。使用机器学习算法和人工特征提取的方法,曾是缓解这些问题的主要途径,但由于人工特征构成简单、单一机器学习算法泛化能力弱等问题,使得其检测效果仍存在较大提升空间。因此,本文基于网络流量行为分析,利用多特征融合的集成机器学习技术,开展对加密流量异常检测的研究。本文主要研究内容和工作安排如下:（1）基于信息熵的明密文流量区分技术,在识别压缩和多媒体流量场景下,存在识别能力不足的问题。基于此,本文提出了一种基于多特征融合的加密流量识别方法。该方法通过计算流量数据包中负载的信息熵、卡方值以及α-Renyi熵值,使用异构的特征组合来判定网络流量中的加密流量,缓解了利用信息熵识别方法对压缩流量误判的现状。针对加密协议识别中存在特征提取困难的问题,本文对不同协议样本的数据包负载分布进行统计,设计了一种基于Z分数的加密协议识别方法,通过计算负载字符的Z分数作为特征,有效降低加密协议特征提取复杂度。与现有明密文流量识别方法和协议分类方法相比,本文所提出的方法在各项评价指标上均有显著优势。（2）针对现有加密流量异常检测方法中存在单一模型检测算法不能适应多种粒度特征以及混合流量检测误报率高的问题,本文根据加密流量中恶意流量和正常流量的会话以及协议特点,在原有会话特征的基础上,增加了协议特征和证书特征。此外,针对单一机器学习方法泛化能力不足的问题,提出了一种基于模型集成的加密流量异常检测方法。该方法利用经过流指纹融合处理的多维特征,通过Stacking技术将Cat Boost、Light GBM和高斯朴素贝叶斯分类器组合起来,构建检测模型来识别网络中的加密恶意流量。所提模型的精确率达到98.51%,误报率为1.2%。对比相关9种算法在公开数据集上的实验结果表明,所提算法检测性能有显著提升。（3）基于以上两种识别模型的研究工作,设计实现了在线加密流量异常检测系统。检测系统采用B/S架构,后端服务器加载调度流量识别模型和异常检测模型,前端网页展示加密流量异常识别结果。通过数据集样本回放模拟真实流量进行测试,结果显示,该系统的实际准确率和误报率分别为96.47%和1.36%,具有较好的应用效果。系统能够对网络流量实时捕获、识别检测和异常展示,构建了一套性能良好、功能完整的加密流量监测系统。