论文部分内容阅读
异常检测的历史较长,可追溯至1777年的Bernouli评论,在经济、社会、网络等方面都广泛应用,并成为数据挖掘的一个重要领域。在金融领域,异常点并不一定是要忽略、删除的数据,恰恰相反,可能是种新的模式。 现有的算法整体上可以分为三类:无监督侦测、有监督侦测和半监督的侦测方法。分类的标准主要是数据集有无标签。本文首先对异常检测的相关研究进行综述,接着对现有异常检测的算法进行分类,通过模拟数据进行实验,通过可视化工具来展示各个方法对数据识别的准确率,并对各个方法的准确率、误判率等进行排序,并借助PR图,直观对比。 针对数据集可能存在多个模式,本文参考Song(2009)方法提出了一种新的组合方法,应用Fergusont(1973)提出的Dirichlet过程混合模型确定每个模式,再对每个模式下的数据应用Platt(2003)提出的Ocsvm挖掘异常点,主要通过Neal(2000)的方法实现Dirichlet过程。同时,将Carlsson(2005)提出的持续同调应用到异常点挖掘,该方法能够识别数据集本身存在的拓扑特征,并可以忽略数据的模式影响。对Carlsson(2005)关于持续同调的可视化描述barcode图刻画出两种距离,并在提出的距离下对数据集进行异常点挖掘。使用Adams(2014)开发的Javaplex实现持续同调。通过与传统方法进行ROC图对比,提出的两种方法在不同的数据模式下效果表现稳定,克服了对数据模式的依赖。