随着科技发展,人们生活离不开网络活动。为了保护用户的隐私不被侵害,通过加密等手段可以将流量数据进行加密传输,提高信息保密性。但恶意活动通过采用TLS加密数据,使得其特征不易被识别。本研究的研究目的是检测隐藏在加密流量中的恶意活动产生的流量。并针对由加密流量数据不平衡导致的恶意加密流量漏过检测问题给出解法。同时,在解决非平衡问题的基础上,解决加密流量特征随时间变化导致检测效率降低的问题。目前,有研究工作采用机器学习算法训练分类模型,用于加密流量的恶意性检测,并取得一定的检测效果。本研究方法通过自动化采集流量,提取具有强区分度的加密流量特征。在基于恶意加密流量检测领域采用的流量特征基础上,对TLS握手过程的流量数据进行分析,发现TLS状态转移特征对分类良性/恶意加密流量是有效的。在现实环境下,用户进行的正常网络操作远多于恶意活动攻击用户并造成的异常操作。因此,造成网络中的良性加密流量远多于恶意加密流量的数据非平衡问题。在机器学习领域,处理非平衡数据是一个开放性问题。非平衡数据训练模型容易导致分类偏向多数类,导致模型的检测效率降低,使得恶意加密流量被分类为良性加密流量从而漏过检测。为了解决这个问题,本研究通过（1）基于代价敏感的CSRF算法和AdaCost算法训练模型,根据经验与实验分析,找到检测效率最优的代价因子比值CW以及倍数因子K。（2）基于过采样/欠采样技术平衡数据集,并采用随机森林算法训练分类模型用于加密流量分类。（3）基于单类学习的one-class SVM算法训练检测模型。经实验表明,代价因子比CW设置为17:1时,倍数因子K设置为1.45时,模型检测性能优于随机森林算法以及AdaBoost算法。本文的方法对比Anderson等通过实验认为最优的随机森林算法,对处理非平衡的加密流量具有更好的表现。实验得到的最优精度、AUC和GMEAN值分别为99.9903%、99.8032%、22.4567%。由于网络流量具有数量大,变化快的特点。采用离线学习的方式训练模型有不能及时更新的问题,导致检测效率容易随时间变化降低。为解决该问题,本研究通过采用霍夫丁自适应树（HAT）训练基于流的自适应学习模型,避免模型的检测效率受时间影响降低。并且,依据解决加密流量非平衡问题的结论,采用检测效率最优的代价因子比值CW调整自适应随机森林（ARF）算法。最优性能下,HAT模型精度在一段时间内均值达到98.36%,Kappa均值达到90.26%。ARF模型精度在一段时间内均值达到99.44%,Kappa均值达到96.62%,优于HAT模型的检测效率。此外,本研究设计用于加密流量恶意性检测的CiphTraffic框架。通过应用该框架各部分模块,实现基于非平衡数据的恶意加密流量检测的目的。并将CiphTraffic系统框架部署在现实场景下,用于对真实环境的加密流量进行检测,发现加密流量中存在的恶意活动痕迹,并定位到出现异常的主机。本研究工作对现有恶意加密流量检测效率进行提升,并解决了非平衡加密流量数据以及加密流量特征变化带来的分类不准的问题。对于检测隐藏在加密流量中的恶意活动、保护网络环境具有一定的意义。