随着电力调度自动化系统规模的不断扩大,电力系统需要实时处理的日志数据急剧增加。受到磁盘性能的影响,数据未能及时处理,产生延迟而无法满足实时性的需求,必须借助内存的处理能力。近年来,随着云计算、大数据技术的迅猛发展,运用大数据技术从海量的实时日志数据中获取潜在有用的信息已经得到了各方面广泛的关注。Spark就是其中脱颖而出的开源计算框架,Spark Streaming作为其上层工具,提供基于间隔的实时处理功能,能够满足调度自动化系统对某个时间段内实时数据的处理需求。然而受到数据流接收速率以及其他操作环境变化的影响,静态的批间隔以及块间隔将会导致较高的端到端延迟和处理时间,甚至引起系统的不稳定。本文针对SparkStreaming存在的问题,对其间隔的影响进行了深入的研究。本文深入分析了 SparkStreaming的处理流程,结合当前电力调度自动化系统日志数据流的特点,通过日志数据记录和字段的过滤,减少系统预处理的时间。针对批间隔对单查询任务端到端延迟的影响,提出了基于定点迭代的动态调整算法,快速收敛到最优的批间隔,减小单查询任务端到端的延迟。考虑到块间隔和运算相关性对多查询任务处理时间的影响,提出基于贪心算法的块间隔动态调整策略和基于相关性的合并算法,减少多查询任务的处理时间。对于实时计算所得的日志数据,给出了基于分布式数据库HBase日志数据存储的RowKey格式和表结构设计,并优化HBase的读写性能,为后续的查询分析提供支持。本文在现有Spark Streaming基础上,改进并开发了 DASpark Streaming系统,实现上述功能,并搭建实验平台。通过某一地级调度中心存储的实时日志数据,与现有的Spark Streaming进行了性能对比。实验结果表明,改进后的DASpark Streaming系统能够有效降低系统端到端的延迟和处理时间,提高了资源利用率,具有明显的优势。