在“互联网+教育”的时代背景下,高校在校园信息化建设的过程中积累了大量的数据,做好数据的治理和服务从而优化信息化服务环境,是新时代高校信息化建设面临的新课题。同时,高校网站作为信息化服务环境的重要组成部分,功能日益丰富多样。其作用不仅是进行信息发布,更是开展交流,提供服务的重要途径和有效手段。因此,通过分析高校的网站日志,获取网站的受访信息,从而了解用户的访问态势,对网站建设者和管理者具有重要的意义。然而目前通过分析网站日志数据来获取网站建设情况的高校还相对较少。部分院校采用传统的通过网页收集信息的方法效率低下,信息量少,实时性较差。运用大数据相关技术研发针对高校的网站日志分析系统,能够直观、准确、全方位的反应网站的受访情况,对提升高校信息化的智能程度具有重要的意义。本文以高校网站日志分析系统的研究与实现为研究内容,在对Spark现有功能研究的基础上,结合多种分布式技术,提出了一种对网站日志数据进行动态并行分析的流式批处理方法。探讨了网站日志分析过程中所用到的关键技术,分析了高校网站日志分析系统的功能需求。并在此基础上梳理了网站日志分析系统的设计流程,从日志的采集、日志的缓存、日志的分析、分析结果的存储、动态可视化几方面进行了系统设计。最后研发出了网站日志分析系统。包含了对网站流量、访客地区、热门站点、访客终端信息的实时动态分析。分析结果以态势感知图的形式呈现,可以直接应用到高校的信息化部门,为网站管理者深入了解网站受访情况提供了依据,同时为基于网站数据的进一步分析奠定了基础。