近些年来,大数据技术逐渐成熟,越来越多的行业使用大数据技术来改善企业原有的业务体系从而提高企业的核心竞争力。Transwarp Data Hub(TDH)是星环信息科技(上海)有限公司研发的企业级大数据平台,旨在为各行各业构建企业级的数据仓库和数据集市,其中商业银行等金融机构是TDH的重点服务对象之一。由于国内政策法规对商业银行等金融机构有着严格的监管要求,所以商业银行在使用大数据平台时需要对平台使用者进行必要的监控,做到平台用户的所有操作都有迹可循。TDH数据安全审计系统在此背景下进行设计开发,其核心目标是对使用TDH平台的用户的数据操作行为进行实时监控。该系统采用采集TDH日志的方式获取TDH用户的操作行为原始数据,再以此为基础对TDH用户的数据操作行为进行还原。该系统同时会根据安全审计人员设置的专家规则对TDH用户的操作行为进行检测,当TDH用户的的操作行为属于违规操作时需要触发告警,并对相关岗位的人员进行通知。本系统分为运行态和配置态两个应用:运行态实时监控TDH用户的数据操作行为;配置态提供安全审计人员管理端页面来控制运行态各个环节的流程和查看相关事件的详情。TDH数据安全审计系统使用Filebeat日志采集器对TDH平台相关组件的日志进行采集,使用Kafka消息队列传输日志数据。日志数据处理和TDH用户操作行为监控等功能使用Spring Boot构建应用实现。系统存储使用Mysql关系型数据库和Redis缓存,其中Mysql用于保存持久化信息,Redis作为缓存提高系统的运行效率。TDH数据安全审计系统提出了一种面向商业银行大数据平台的数据安全审计解决方案。本系统不仅满足了商业银行数据对安全审计的需求,还具备大数据平台基本无感知、反应迅速等特点。