随着我国自主研发的EAST(全超导托卡马克)装置实验不断地开展,产生的实验数据的总量日益增加。实验数据大部分都放在MDSplus中,目前MDSplus的数据总量已经达到PB级。为了方便实验人员对MDSplus服务器上的用户行为和实验数据进行规范管理,因此对MDSplus实验数据有效地监控是很有必要的。需要在现有的MDSplus服务器的基础上设计一个MDSplus实验数据访问日志分析系统,该系统主要包括日志完善模块,离线处理模块,实时处理模块,监控数据展示等模块。现有的MDSplus对数据的管理并不包含完善的日志信息。因此系统需要对MDSplus日志模块进行完善,对用户和数据的访问信息进行实时地记录,同时日志能够根据Logrotate机制按照时间进行切割转储。产生的大量日志信息需要及时地备份到云服务器上,并进行海量日志信息的离线计算,从而得到按照时间周期变化的用户行为和数据信息数据。离线的日志数据计算采用的是传统的大数据框架高可用的Hadoop技术。在实验过程中,单一的离线数据的计算不能提供及时的MDSplus服务器状态信息,包括但不限于服务器出入流量信息,据此信息可以进行判断服务器的负载情况,是否有异常访问。为此实时日志的分析也是必不可少的,现有的日志实时分析系统是基于Spark生态圈中的SparkStreaming实时数据计算模型。系统还使用了Flume、Kafka的日志监测、聚合、分发等关键性技术,使得MDSplus海量日志数据的处理能力变得可能,且能够在秒级别处理千万条未处理的MDSplus日志信息。整个EAST实验数据访问日志分析系统基于Linux环境下开发,并采用WEB前端技术进行监控信息展示。该系统已经能够在实验中使用,系统工作能够满足设计需求。