论文部分内容阅读
在各商业银行提供的实时外汇买卖业务系统中所采用的汇率是以一种实时在线到达的、易失的、无限的方式获得的数据流。由于各种原因,在这个数据流中经常会出现一些异常片段。它们会给银行或客户带来很大的经济损失。如何检测存在于实时汇率数据流中的异常片段是目前困扰外汇买卖系统开发的一个主要问题。通过对实时汇率数据流的深入观察和分析,可以发现,其中异常片段的最大特点就是拥有与正常的汇率数据流不同的数据点分布情况。因此,可以通过检测数据流中数据点的分布变化来发现这些异常。本文试图在这个方面做出一些尝试,提出一种能够检测数据流中的数据点的分布变化的算法,以实现对实时汇率数据流的异常片段的检测。 虽然近几年国内外在数据流处理技术方面有了较大的进展,但是,其大多集中于研究在存储有限的情况下,对数据流数据近似地求解数据查询、挖掘与分析的任务,对数据流分布变化的检测问题涉及较少。然而在实际的生活中,我们经常可以看到人工识别数据流变化的例子。虽然人工的方法并不能处理大量的数据,但是我们可以通过模拟人工识别差异的过程,并将其程序化,尝试用其解决我们的问题。所以,本文将目光投向模拟人工识别过程,对其背后隐含的理论基础进行了深入的讨论,并以此为基础提出了本文描述的算法。 本文首先通过观察两个人工发现数据流变化的过程,对其隐含的理论背景进行了深入的讨论,并在此基础之上提出了基于两个静态样本的变化检测算法及其优化。然后,为了将该算法应用到数据流环境中,提出了基于两个滑动窗口的数据流变化检测算法。在实验部分,模拟一个不断变化的数据流作为算法的应用对象,实验结果证明了算法的准确性和有效性,并对如何选择算法的相关参数,以适应实际的应用环境,进行了一些讨论。 最后,本文根据实时汇率数据流的特点,建立了数据点相互无关的实时汇率数据流的检测模型,然后采用本文提出的数据流的变化检测算法解决实时汇率数据流的异常检测问题,并给出了实验结果。