ATM交易状态特征分析与异常检测

来源 :财讯 | 被引量 : 0次 | 上传用户:pc84119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  本文以银行ATM交易状态为研究对象,研究ATM交易状态的特征以及交易异常状态的检测,并且对ATM交易出现异常状态提出预警。
  针对问题(1),首先我们选取业务量作为ATM交易状态特征的评价指标。将本文所提供的每日每分钟业务量指标划分为每日总业务量指标和日内每10分钟业务量指标,以此作为判断不同日期的ATM交易状态和不同时间的ATM交易状态。运用聚类分析的方法,对不同日期的ATM交易状态进行聚类分析,提出春节前5天、春节期间7天、工作日(非法定假日)和周末(非法定假日)共4个时期的ATM交易状态;同样运用聚类分析的方法,对不同时间的ATM交易状态进行聚类分析,提出上班高峰业务时间、早间与晚间业务时间以及夜间低谷业务时间共3个时间的ATM交易犹态;
  针对问题(2),根据银行数据中心监控系统分析可知,ATM交易系统出现异常或故障主要分为前端交易异常和后端处理异常。具体表现为业务量陡降、交易成功率低下和交易响应时间过长三个特点。根据这些特点,我们可以判断出不同日期和不同时间的ATM交易系统异常状态。由此我们建立了不同日期的ATM交易系统异常检测模型和不同时间的ATM交易系统异常检测模型。
  针对问题(3),由问题(2)建立的ATM交易系统异常检测模型可以判断发生异常的概率,但是该模型仅仅是以1月23日至4月23日共91天的数据求解得出的,难以作为日常ATM交易系统异常状态的检测,同时存在较大的偶然性,例如春节期间所带来的特殊性。为此,我们应该采集一年的交易数据,建立不同日期和不同时间的ATM交易系统异常检测模型。同时,采用动态更新的ATM交易系统异常检测模型,作出更准确、及时的判断。
  最后采用动态优化的思想,将上述的模型进行动态拟合求解,寻找出更精确、更及时的ATM交易系统异常检测模型,并对模型进行评价和推广。
  ATM 特征分析
  聚类分析 logit异常检测模型
  问题的提出
  商业银行总行数据中心监控系统为了实时掌握全行的业务状态,每分钟对各分行的交易信息进行汇总统计。汇总信息包括业务量、交易成功率、交易响应时间三个指标。商业银行总行数据中心监控系统通过对每家分行的汇总统计信息做数据分析,来捕捉整个前端和后端整体应用系统运行情况以及时发现异常或故障。常见的故障场景包括但不限于如下情形:
  1.分行侧网络传输节点故障,前端交易无法上送请求,导致业务量陡降;
  2.分行侧参数数据变更或者配置错误,数据中心后端处理失败率增加,影响交易成功率指标;
  3.数据中心后端处理系统异常(如操作系统CPU负荷过大)引起交易处理缓慢,影响交易响应时间指标;
  4.数据中心后端处理系统应用进程异常,导致交易失败或响应缓慢。
  根据某商业银行ATM应用系统某分行的交易统计数据,建立数学模型解决如下问题:
  (1)选择、提取和分析ATM交易状态的特征参数;
  (2)设计一套交易状态异常检测方案,在对该交易系统的应用可用性异常情况下能做到及时报警,同时尽量减少虚警误报;
  (3)设想可增加采集的数据。基于扩展数据,你能如何提升任务(1)(2)中你达到的目标?
  问题的分析
  问题(1)需要分析ATM交易状态,我们采取分类的思想,以交易量作为判断指标将ATM交易状态划分为不同的特征状态。首先,我们将本文所提供的每日每分钟业务量指标划分为每日总业务量指标和日内每10分钟业务量指标,以此作为判断不同日期的ATM交易状态和不同时间的ATM交易状态。结合聚类分析的情况,同时考虑到国内春节前后的特殊性,并参考许元红[1](2006)的研究,我们可以初步判断出本文所给的数据受到春节因素的影响。由此,我们提出春节前5天、春节期间7天、工作日(非法定假日)和周末(非法定假日)共4个时期的ATM交易状态;再次运用聚类分析的方法,对不同时间的ATM交易状态进行聚类分析,提出午间高峰期、正常业务时间以及夜间低谷业务时间共3个时间的ATM交易状态。并对不同时期各个时间的ATM交易状态进行分析,得出结论。
  问题(2)需要设计一套交易状态异常检测方案,首先我们根据ATM交易系统出现异常的原因和表现特征进行分析,可知ATM交易系统出现异常具体表现为业务量陡降、交易成功率低下和交易响应时间过长三个特点。基于这些特点,可以初步判斷某一时期和某一时间是否存在异常,并建立ATM交易系统状态指标。然后,运用logil回归模型进行分析,选取交易量、平均交易成功率和平均交易响应时间共3个指标作为解释变量,对ATM交易系统状态指标进行回归分析,并对模型进行参数估计。由此建立不同日期的ATM交易系统异常检测模型和不同时间的ATM交易系统异常检测模型。最后,运用移动平均法的思想,选取MA3作为下一时期3个解释变量的预测值,选取MA5作为下一时间3个解释变量的预钡J值,对下一时期和下一时间的交易系统是否异常进行检测,最终得出ATM交易系统出现异常的概率,相应做出预防系统异常工作和系统异常的处理工作。
  问题(3),由问题(2)建立的ATM交易系统异常检测模型可以判断发生异常的概率,但是该模型仅仅是以1月23日至4月23日共91天的数据求解得出的,难以作为日常ATM交易系统异常状态的检测,同时存在较大的偶然性,例如春节期间所带来的特殊性。为此,我们应该采集一年的交易数据,建立不同日期和不同时间的ATM交易系统异常检测模型。同时,采用动态更新的ATM交易系统异常检测模型,作出更准确、及时的判断。
  模型的假设
  假设ATM交易系统异常一定会导致交易未成功,使得交易成功率下降;
  假设ATM交易系统异常一定会导致交易响应时间过长;
  假设ATM交易系统异常与交易量无关;   假设所收集的ATM交易数据真实、可靠。
  注:由于本文模型均建立在较长时间(超过10分钟)的统计汇总指标上,因此,不能判定业务量的骤减,是因为出现系统异常所引起,还是因为该时间内没有发生交易所引起。所以,假定ATM交易系统异常与交易量无关。
  模型建立与求解
  (1)ATM交易状态特征分析
  1.数据预处理
  由于本文所提供的数据为每日每分钟业务量统计数据,一共有131013个样本(部分时期的少数时间内为无交易状态),其样本总量过大,不便于整体分析。所以,我们将所给数据划分两类数据,一是为以天为单位的交易数据,将每天所有分钟的数据汇总,称之为不同日期的交易数据;二是以10分钟作为间隔单位的交易数据,将每10分钟所有天数的数据进行汇总,称之为不同时间的交易数据。具体过程采用MATLAB2014a版本软件实现。
  在进行数据处理之前,涉及到两种数据处理问题,一是数据结构处理,二是数据类型处理。具体处理如下:
  (1)文本合并:将日期、时间文本数据前添加文本”1”,如日期”0123”转化为日期”10123”,时间”0000”转化为”10000”;
  (2)数值类型转化:将上述处理好的文本类型数据转化为数值类型数据,直接引用excel中VALiIE(text)函数转化处理即可。
  2.ATM交易状态描述性统计分析
  根据上述的数据预处理,我们可以得到两种类型的数据,一是不同日期的交易数据;二是不同时间的交易数据。借助MATLAB软件,可以得到这两种类型的交易数据情况,这样就可以推出不同日期的交易特征以及不同时间的交易特征。具体如下:
  不同日期的交易特征具体表现为:1月23日~1月27日,处于日交易量高峰时期,平均每天交易量为1566472笔,最高交易量达到1836189笔;1月28日~2月3日,处于日交易量低谷时期,平均每天交易量为541942笔,最低交易量为379700笔;2月4日~4月23日,处于正常交易量时期,平均每天交易量为831076笔,这一时期的日交易量最高可达1001081笔,最低为612968笔,且表现出明显的周期波动,据此可初步判断为工作日与周末因素所产生的影响。
  不同时间的交易特征具体表现为:凌晨12点~早上6点,处于凌晨交易量低谷时间,平均每10分钟的交易量为32笔,最低交易量为14笔;早上6点一早上9点,处于早间正常交易量时间,平均交易量为433笔,且随时间呈现出递增的趋势;早上9点~下午6点,处于日间高峰交易量时间,平均交易量为1082笔,其中午间1小时(11点30分-12点30分)呈现小幅下降,其交易量平均为956笔;下午6点~晚间10点,处于晚间正常交易量时间,平均交易量为660笔,且随时间呈现出递减的趋势;晚间10点~凌晨12点,处于夜间交易量低谷时间,平均交易量为139笔,同时随时间呈现出递减的趋势。
  3.ATM交易状态聚类分析
  根据上述描述性统计的初步分析,我们大致可以将不同日期的交易状态分为3个时期,将不同时间的交易状态分为5个时间段。不同时期和不同时间的交易量呈现出不一样的交易状态特征。为了进一步更精确的分析,我们采用聚类分析的方法,对上述不同日期的交易数据和不同时间的交易数据进行分析。
  4.ATM交易状态的聚类结果分析
  根据聚类分析结果,综合考虑国内春节前后的特殊性,以及工作日与周末之間的差异,最终将不同时期的ATM交易状态划分为4个时期,具体ATM交易状态特征如表(1)所示;综合考虑日间工作时间以及作息时间,最终将不同时间的ATM交易状态划分为3个时间段,具体ATM交易状态特征如表(1)所示。
  (2)ATM交易系统异常检测模型
  1 .ATM交易系统发生异常的原因
  根据商业银行数据中心监控系统通过对每家分行的汇总统计信息做数据分析,对每家分行的ATM交易系统整体前端和后端整体运行情况进行检测,统计分析可知,常见的故障场景主要分为以下几种情形:
  第一,分行侧网络传输节点故障,前端交易无法上送请求,导致业务量陡降;
  第二,分行侧参数数据变更或者配置错误,数据中心后端处理失败率增加,影响交易成功率指标;
  第三,数据中心后端处理系统异常(如操作系统CPU负荷过大)引起交易处理缓慢,影响交易响应时间指标;
  第四,数据中心后端处理系统应用进程异常,导致交易失败或响应缓慢。
  2.ATM交易系统异常状态判别
  根据上述ATM交易系统发生异常的原因分析,可以提出3个交易系统出现异常的判别标准。分别为:第一,该时间内的业务量陡降;第二,该时间内的交易成功率较低;第三,该时间内的交易响应时间过长。同时,由于本文模型均建立在较长时间(超过10分钟)的统计汇总指标上进行研究,因此,难以判定业务量的骤减,是因为出现系统异常所引起,还是因为该时间内没有发生交易所引起。由此,我们假定ATM交易系统异常与交易量无关,本文是基于该假定进行研究的。所以,本文最终判别ATM交易系统是否出现异常的标准有两个,一是该时间内的交易成功率较低;二是该时间内的交易响应时间过长。
  按照上述判别ATM交易状态异常状态的思路,我们可以建立不同时期和不同时间的ATM交易系统状态指标TS,和TSi。由此,我们可以得出不同时期和不同时间的ATM交易系统异常状态情况。
  3.ATM交易系统异常检测模型
  根据上述分析,可知引起ATM交易系统异常的因素主要为交易成功率指标和交易响应时间指标,同时,依据ATM交易系统异常状态判别分析,我们可以得到ATM交易系统异常状态指标。基于上述分析,最终建立不同日期的ATM交易系统异常检测模型和不同时间的ATM交易系统异常检测模型。模型设定如下:   其中P表示“TS=1”发生的概率,即发生ATM交易系统异常的概率;则1-P表示ATM交易系统未发生异常的概率;模型中参数α是常数项,β1、β2分别为影响ATM交易系统发生异常的系数,ε为干扰项。
  根据上述模型设定,本文运用logit回归模型进行分析,选取平均交易成功率和平均交易响应时间共2个指标作为解释变量,对ATM交易系统状态指标进行回归分析,运用STATA软件对模型进行参数估计。
  根据logit回归分析结果,我们可以得出不同时期和不同时间的ATM交易系统异常检测模型如下:ln TSt=1895.231-2002.572*successratet+0.2049responsetimetlnTSi=280.9004-303.8507*successratel+0.0909responsetimei
  根据上述ATM交易系统异常检测模型,即可判断不同时期和不同时间发生异常的概率,进而能够对该交易系统发生异常情况及时报警。最后运用移动平均法的思想,选取MA3作为下一时期2个解释变量的预测值,选取MA5作为下一时间2个解释变量的预测值,从而能够提早对下一时期和下一时间的交易系统是否异常进行检测,最终得出ATM交易系统发生异常的概率,相应做出预防系统异常工作和系统异常的处理工作。
  模型评价及改进
  (1)模型评价
  1.本文对ATM交易状态特征的分析,采用聚类分析方法,避免了人为主观的臆断,首先通过描述性统计分析的思路,初步得出ATM交易状态的一般特征,进而通过聚类分析的方法,客观地反映出ATM交易状态的具体特征。综合比对初步得出的结论与客观运算求出的结论,可知聚类分析的结果基本与事实相符,且具有更高的精确性。
  2.本文对ATM交易系统异常状态的检测,按照原因分析、异常判别以及实证研究的思路,运用logit模型进行拟合求解,得到具体的ATM交易系统异常状态检测模型,且相应的参数估计结果与事实相符,即交易成功率与系统发生异常的概率呈现负相关关系,交易响应时间与系统发生异常的概率呈现正相关关系。该结论具备一定客观性与可靠性。
  (2)模型改进
  1.本文运用的聚类分析,直接采用k-means聚类的思想,是因为该聚类方法对异常值较为敏感,但是也容易受到异常值的影响,同时需要提前设定类别的个数,不能自主识别最优聚类结果。因此,可通过尝试其他聚类的思想,多次进行聚类分析,寻找最优的聚类结果。
  2.本文对ATM交易系统出现异常的判别,是基于ATM交易系统异常检测模型,而想要对下一时期和下一时间的交易系统状态进行异常检测,必须提前对下一时期与下一时间的交易成功率和交易响应时间进行预测,因此,为了更加精确、及时地对ATM交易系统进行异常识别,必须要对交易成功率和交易响应时间指标的预测模型进行改进及优化。
  [1]许元红,吴扬扬.基于聚类方法的ATM交易量分析[J].金融科技时代,2006,14(1):56-58.
  [2]方开泰等.聚類分析[M].地质出版社,1982.
  [3]费宇.多元统计分析[M].中国人民大学出版社,2014.
其他文献
般指期货的价格发现功能有效的体现了股指期货市场的有效性,一直是期货市场参与者和相关的监管部门的关注焦点。文章将以沪深300指数和指数期货作为研究对象,对股指期货价格发现的价值进行分析。从本次实证结果中体现出沪深380股指期货s现货两者之间存在着一定的长期互相均衡的关系;股指期货的价格走势对现货价格具有影响,且呈现出明显的引导效果。  股指期货 价格发现 沪深300  引言  我国股指期货自从正式启
期刊
随着互联网技术的飞速发展,互联网金融逐渐融入到了各行各业当中,发展出了一大批与传统商业银行不同的,更加符合现代消费者需求的金融产品服务.进而互联网金融对现今的商业银
期刊
推导了单连杆柔性机械臂的动力学模型,研究其末端位置的模型,参考自适应控制。在推导动力学模型时,使用刚性模态和多个弹性模态使单连杆柔性机械臂等效为一个多自由度的机械多体
伴随着我国经济飞速发展,各行各业的发展形态都发生很大的变化。在这样的时代背景下,对所有企业来讲既是机遇又是挑战。企业要想得到长远发展,就要加强企业财务管理工作。而在企业财务管理中,会计核算和统计核算都起到很大的作用,他们两者之间既有联系也有区别,只有将它们二者之间进行协调起来,才能促进企业的发展。下文就讲述了会计核算和统计核算之间的关系,以及它们二者之间协调的必要性,最后探讨怎么让他们两者更好地协
期刊
随着目前互联网科技及金融创新的步伐越来越快,传统的以银行业为主体的金融业逐渐发生着深刻的变革,互联网金融迅速崛起,以其快捷便利性和高收益性而受到人们的青睐。但目前我国对于互联网金融的定位及法律规制都过于刑事化和简单亿,暴露出存在法律监管及保障制度的缺乏、安全和市场风险方面的问题。为此,需要建立有针对性、有体系的法律保障制度。  互联网金融 融资风险 法律保障  伴随着互联网信息技术的迅猛发展,近年
期刊
5月29日中央政治局会议审议通过了《中国共产党党组工作条例(试行)》(以下简称《条例》),6月11日正式印发。《条例》的发布和实施,对于我们党进一步加强和改善党的领导,提高党的执
报纸
人民币国际化的国内经济背景(1)我国对外贸易发展迅速首先,我国的对外贸易规模和地位不断上升.自1979年以来,我国的外贸额逐年增加,唯有受次贷危机影响严重的2009年,随着主要
期刊
翻绳和猫的摇篮翻绳是一种儿童游戏,也称为“挑绷绷。”据说挑绷绷会下雨,这无疑是一种迷信。一圈线在两个人的手上翻来翻去,变出多种几何图案来,这就是大家很熟悉的“翻绳。”不
目的:检测在脑缺血/再灌注后表达细胞型朊蛋白(PrP~C)的脾脏CD4~+T细胞比例变化情况,并探究PrP~C对脑缺血再灌注后外周CD4~+T淋巴细胞亚群分化是否起作用及对神经元存活的影
交替采样技术应用在高速AD测量系统中,有效地提高了其采样率.本文将交替采样技术引入到测时系统中,详细地阐述了采用交替采样技术,实现时间间隔连续测量的设计方法.本文介绍