论文部分内容阅读
随着我国证券交易市场的蓬勃发展,投资者队伍不断壮大,违法违规的市场交易案呈现日益上涨的趋势。违法交易影响股票市场的稳定,并损害了中小投资者的利益,严重时引起社会不安定。因此,违法交易案的稽查是证监会一项重要工作。在违法交易稽查案中,办案人员需要收集调查对象的取证文档,这些取证文档种类多、数量多,来源杂,存在归档不方便、易出错的问题,其记录的取证数据则存在格式不一致、噪音数据多、数据值缺失等问题,使办案人员在整理取证文档和处理取证数据的格式上费时费力,严重影响办案效率;同时,判断一项违法交易是否要立案,基本上是通过违法交易获利金额多少决定,而办案人员进行获利计算没有统一计算标准,且不存在任何自动化工具,常常进行一次获利计算就要消耗一周以上时间,严重影响案件稽查进度。因此,证监会提出稽查系统的研发需求,其目标为实现对凌乱取证数据的管理,并将其用做数据分析,建立可复用分析模型,以辅助办案人员查找案件线索,计算违法获利等。 该系统的开发具有现实的应用意义,现实环境中普遍存在数据凌乱、不规范的问题;同时一些复杂数据分析或计算通过传统的Excel软件完成非常困难且不易维护,而专业的数据分析软件或BI软件门槛偏高。本文探索了在这样的环境中的数据处理与分析的课题。在系统开发过程中设计并实现了数据质量较低劣情况下的数据采集,并设计可复用的数据分析模型。 具体实现上,对取证数据采用了ETL中数据抽取、清洗、转换的处理思想,根据取证特点设计了数据处理的规则;在数据的应用上,将办案人员分析数据的手段与思想转变成本系统的数据分析模型。