论文部分内容阅读
变点问题是统计研究中的热门话题之一。变点检测方法广泛地应用于工业质量控制、医学诊断、计算机、气候模拟、反恐怖安检等领域。变点问题解释如下:对于一个按时间序列发生的随机过程,分析其随机元素的分布或分布参数是否存在某些变化。渐进变点是指序列中某个时点样本呈现出渐进变化性质从而使得样本的分布或者数字特征发生变化,引起这种变化的点就是需要检测出来的渐进变点。例如,在公司的网络安全监测过程中,当服务器受到病毒攻击或者黑客攻击时,它接收的数据包可能按一定趋势显著增加,从而对网络安全造成冲击。在变点检测中,对渐进变点检测的研究文献不多,而且由于渐进过程的复杂性使得与其它的变点检测相比更加困难。 目前,国内外主要的变点检测算法可以分为参数方法和非参数方法。其中由于参数检测方法大多适用于过程的分布或者参数已知的情形,因此显得不够灵活。而许多的非参数方法极限分布复杂,检验的临界值不容易确定;而且往往计算的时间复杂度极高,无法满足检测过程中对快速性的要求。 本文在对常见的变点检测方法作研究和分析的基础上提出一种针对渐进变点检测的新算法:基于AUC的渐进变点非参数检测算法。创造性的将AUC这一统计量引入到渐进变点检测中,并且提出了一种基于秩统计量的非参数快速算法。本文将渐进变点的检测过程分为两个阶段:预处理阶段,选取两个连续的矩形窗,通过逐步滑动窗口的方式,利用基于秩统计量的快速算法计算出窗口中样本数据的AUC值,从而估计出AUC的均值以及方差;模板匹配检测阶段,通过假设的理论AUC值得到一个模板向量,将此模板与原始检测样本得到的AUC值作向量的内积,滑动此模板得到一系列内积结果,其中峰值处就是渐进变点的位置。 本文在基于秩统计量的快速算法的基础上,详细的讲解了是如何利用AUC这一统计量对渐进变点进行检测的,并对样本数据服从不同分布时进行了仿真实验,验证了本文所提算法的有效性,并且在偏移量较大或者较小时算法同样有效即具有较好的稳健性。