随着计算机技术的不断发展,网络安全中的内部威胁和主机入侵时时刻刻影响着网络的正常运行,因此,提出有效的应对措施已迫在眉睫。对于现有的内部威胁检测算法主要存在以下不足:仅使用单一的用户行为建立用户行为模型、新用户发生内部威胁算法无法检测以及由于算法的选择和设计导致AUC分数较低等问题。而现有的主机入侵检测算法主要存在以下不足:基于安全事件本身,安全事件的不断改变导致算法无法识别、需要大量已标记样本进行模型训练以及算法的可移植性较差等问题。针对以上问题,本文的研究内容主要包括3个部分。(1)提出基于单类神经网络的用户行为分析算法。该算法使用用户的多种行为建立模型,可以发现由多个行为共同导致的内部威胁。该算法使用专门用于异常检测的单类神经网络进行用户行为分析,提高了算法的AUC分数。该算法建立用户和角色的行为模型,解决了现有算法仅建立用户行为模型时,面对新用户无法进行内部威胁检测的弊端。该算法将用户行为模型和角色行为模型的预测结果进行集成,进一步提高了算法的AUC分数。(2)提出基于小样本学习的实体行为分析算法。该算法通过主机行为分析,解决了现有算法由于安全事件形式的改变,算法无法工作问题。该算法改进了小样本学习中的关系网络并用于主机行为分析,解决了现有算法需要大量标记样本进行模型训练问题。该算法利用关系网络泛化能力较强的特点,不仅可以识别未知的主机行为,还可以解决现有算法可移植性差问题。(3)由于日益严峻的网络安全问题,网络安全管理员需要全面地、实时地监控整个网络的安全状况。因此,本文将基于单类神经网络的用户行为分析算法和基于小样本学习的实体行为分析算法应用到网络安全态势的感知中,设计并实现网络安全监控系统。