论文部分内容阅读
摘要：因为ATM机的自动化处理机制，基本无工作人员监管，商业银行需要通过对每家分行的汇总统计信息做数据分析，来捕捉整个前端和后端整体应用系统运行情况以及时发现异常或故障。为了能够帮助银行检测出系统运行时的异常或故障，本文将提取出指标的特征参数，通过阈值划分，方差分析法，数据的台阶检测等，设计出一套交易状态异常检测方案。
关键词：方差分析法;统计分析;散点图;正态分布
1.问题重述
某商业银行的 ATM 应用系统包括前端和后端两个部分。前端是部署在银行营业部和各自助服务点的 ATM 机（系统），后端是总行数据中心的处理系统。持卡人从前端提交业务请求，到后台处理完毕，并将处理结果返回到前端，通知持卡人业务处理最终状态，我们称这样完整的一个流程为一笔交易。商业银行总行数据中心监控系统通过对每家分行的汇总统计信息做数据分析，来捕捉整个前端和后端整体应用系统运行情况以及时发现异常或故障。
任务：
①选择、提取和分析 ATM 交易状态的特征参数;
②设计一套交易状态异常检测方案，在对该交易系统的应用可用性异常情况下能做到及时报警，同时尽量减少虚警误报;
③设想可增加采集的数据。基于扩展数据，提升任务（1）（2）中达到的目标。
2.问题分析
针对交易状态特征参数的选择提取问题分析，应用MATLAB和Excel通过相关性分析和图像的直观判断发现三个指标之间并不存在明显相关性，只有交易量与时间、日期存在明显的相关性。因此我们将三个指标分别进行处理，提取特征参数。通过日总交易量图的分析，发现交易量在1-2月之间相较其他时间有显著的波动，推测是春节因素的影响，因此分析时将其分段处理。结合每日交易量图，工作日和非工作日的日总交易量和每日交易量散点图并没有明显区别。对于成功率指标，我们通过散点图发现其在交易量少的时间段波动范围较大，因此使用一个模型将交易量累加到一定值的平均成功率来替代，处理后提取其标准差和平均值作为特征参数。对于响应时间，通过对其图像的观察，得到数据点分布的特征，同样提取其标准差和平均值作为其特征参数。
针对问题异常数据分析的问题，经过分析，三个指标不存在明显相关性，且每个指标都至少对应一个故障源，因此对三个参数异常数据进行独立检测。首先使用三个指标提取的特征参数，通过大量数据的分析，发现成功率和响应时间数据十分集中，我们采用方差分析法判断异常数据。交易量与时间及日期存在相关性，所以数据处理较为复杂，因此我们建立了多个模型来判断异常数据.在建立异常和故障报警模型时，结合现实中故障有一定的持续时间，因此只有当一个指标出现异常持续一定时间，才会发出异常或故障报警。
针对报警系统建立的问题，本文考虑增加交易金额、业务类型作为扩展数据，来减少对交易量突减情况的误报。
3.模型的建立与分析
通过上述分析，本人建立了异常检测模型，解决了如下问题：
①针对不同指标，选取出不同的特征参数。
②对数据进行处理，依据工作日和非工作日、业务低谷时段和业务正常时段分割数据，应用描述分析、N次检验，参照选取的特征参数，找出了成功率突变和恢复的时间节点，从而能够检测出异常区间做出预警。
因为缺少每种故障场景所需的修復时间，单个异常值也可能是正常情况，设定当一个指标出现异常超过十分钟才发出故障报警。这样可以提高预警精度，规避部分误报情况。
问题三的分析
可增加采集的数据有：
①每分钟交易金额：若每分钟交易金额增大，每笔交易的平均时间会有一定的增加，间接的导致交易量的下降。根据高额现金交易所用时间时间样本做数理统计，找出合理的置信区间，在此区间范围内，若发现交易量的突降，如果同时交易金额的突增，可以不进行故障场景1预警，降低故障场景1的误报率。但是值得注意的是，交易金额在交易量绝对数量较大时对交易量影响较大，在ATM闲时影响会比较小。
②业务类型：不同业务类型请求所用的业务处理时间不同，例如转账交易普遍慢于存取交易，存取款业务普遍慢于查询业务。若发现交易量明显降低，响应时间明显变长，则需查看业务类型，对每一类型业务的用时做数理统计找出合适的置信区间，若用时在该业务类型的正常用时范围内，则可以不进行预警，降低误报率。
③DNS服务器反应时间：通过检测每个传输节点的DNS反应时间来检查传输节点是否故障，若检测结果出现明显异常，及时作出做出预警。
④网络负载率：若检测到网络负载率达到较大值或者满载值，响应时间较大，成功率较低或交易量骤减就很可能不是前端或后端的故障问题导致，而是数据传输过程出现阻塞导致，此数据的采集也能一定程度上减少误报率。
⑤每种故障的修复时间：
对于问题一 可增加一个特征参数，即为每种故障的平均修复时间
对于问题二 这个因素直接影响到异常值持续多少时间判定为出现故障
该数据采集难度较低，只需每次修复各种故障时进行登记统计即可。
参考文献：
[1]刘丰年，一种基于UML-Petri网的ATM自动取款机建模方法[J].宁波技术学院学报，2016，20（1）：91-94.
[2]刘卓军李晓明.基于时间序列建模和控制图的异常交易检测方法[J].计算机应用与软件，2013，30（1）：165-170.
[3]张成虎赵小虎.基于小波分析的可疑金融交易时间序列研究[J].现代管理科学，2009，（7）：102-104.
关键词：方差分析法;统计分析;散点图;正态分布
1.问题重述
某商业银行的 ATM 应用系统包括前端和后端两个部分。前端是部署在银行营业部和各自助服务点的 ATM 机（系统），后端是总行数据中心的处理系统。持卡人从前端提交业务请求，到后台处理完毕，并将处理结果返回到前端，通知持卡人业务处理最终状态，我们称这样完整的一个流程为一笔交易。商业银行总行数据中心监控系统通过对每家分行的汇总统计信息做数据分析，来捕捉整个前端和后端整体应用系统运行情况以及时发现异常或故障。
任务：
①选择、提取和分析 ATM 交易状态的特征参数;
②设计一套交易状态异常检测方案，在对该交易系统的应用可用性异常情况下能做到及时报警，同时尽量减少虚警误报;
③设想可增加采集的数据。基于扩展数据，提升任务（1）（2）中达到的目标。
2.问题分析
针对交易状态特征参数的选择提取问题分析，应用MATLAB和Excel通过相关性分析和图像的直观判断发现三个指标之间并不存在明显相关性，只有交易量与时间、日期存在明显的相关性。因此我们将三个指标分别进行处理，提取特征参数。通过日总交易量图的分析，发现交易量在1-2月之间相较其他时间有显著的波动，推测是春节因素的影响，因此分析时将其分段处理。结合每日交易量图，工作日和非工作日的日总交易量和每日交易量散点图并没有明显区别。对于成功率指标，我们通过散点图发现其在交易量少的时间段波动范围较大，因此使用一个模型将交易量累加到一定值的平均成功率来替代，处理后提取其标准差和平均值作为特征参数。对于响应时间，通过对其图像的观察，得到数据点分布的特征，同样提取其标准差和平均值作为其特征参数。
针对问题异常数据分析的问题，经过分析，三个指标不存在明显相关性，且每个指标都至少对应一个故障源，因此对三个参数异常数据进行独立检测。首先使用三个指标提取的特征参数，通过大量数据的分析，发现成功率和响应时间数据十分集中，我们采用方差分析法判断异常数据。交易量与时间及日期存在相关性，所以数据处理较为复杂，因此我们建立了多个模型来判断异常数据.在建立异常和故障报警模型时，结合现实中故障有一定的持续时间，因此只有当一个指标出现异常持续一定时间，才会发出异常或故障报警。
针对报警系统建立的问题，本文考虑增加交易金额、业务类型作为扩展数据，来减少对交易量突减情况的误报。
3.模型的建立与分析
通过上述分析，本人建立了异常检测模型，解决了如下问题：
①针对不同指标，选取出不同的特征参数。
②对数据进行处理，依据工作日和非工作日、业务低谷时段和业务正常时段分割数据，应用描述分析、N次检验，参照选取的特征参数，找出了成功率突变和恢复的时间节点，从而能够检测出异常区间做出预警。
因为缺少每种故障场景所需的修復时间，单个异常值也可能是正常情况，设定当一个指标出现异常超过十分钟才发出故障报警。这样可以提高预警精度，规避部分误报情况。
问题三的分析
可增加采集的数据有：
①每分钟交易金额：若每分钟交易金额增大，每笔交易的平均时间会有一定的增加，间接的导致交易量的下降。根据高额现金交易所用时间时间样本做数理统计，找出合理的置信区间，在此区间范围内，若发现交易量的突降，如果同时交易金额的突增，可以不进行故障场景1预警，降低故障场景1的误报率。但是值得注意的是，交易金额在交易量绝对数量较大时对交易量影响较大，在ATM闲时影响会比较小。
②业务类型：不同业务类型请求所用的业务处理时间不同，例如转账交易普遍慢于存取交易，存取款业务普遍慢于查询业务。若发现交易量明显降低，响应时间明显变长，则需查看业务类型，对每一类型业务的用时做数理统计找出合适的置信区间，若用时在该业务类型的正常用时范围内，则可以不进行预警，降低误报率。
③DNS服务器反应时间：通过检测每个传输节点的DNS反应时间来检查传输节点是否故障，若检测结果出现明显异常，及时作出做出预警。
④网络负载率：若检测到网络负载率达到较大值或者满载值，响应时间较大，成功率较低或交易量骤减就很可能不是前端或后端的故障问题导致，而是数据传输过程出现阻塞导致，此数据的采集也能一定程度上减少误报率。
⑤每种故障的修复时间：
对于问题一 可增加一个特征参数，即为每种故障的平均修复时间
对于问题二 这个因素直接影响到异常值持续多少时间判定为出现故障
该数据采集难度较低，只需每次修复各种故障时进行登记统计即可。
参考文献：
[1]刘丰年，一种基于UML-Petri网的ATM自动取款机建模方法[J].宁波技术学院学报，2016，20（1）：91-94.
[2]刘卓军李晓明.基于时间序列建模和控制图的异常交易检测方法[J].计算机应用与软件，2013，30（1）：165-170.
[3]张成虎赵小虎.基于小波分析的可疑金融交易时间序列研究[J].现代管理科学，2009，（7）：102-104.