论文部分内容阅读
摘要：健全的日志记录和分析是系统正常运行与优化以及安全事故响应的基础。日志数据庞大且往往以文本形式存在，不容易阅读和提取关键信息，因此必须对日志数据进行适当的分析，挖掘其中隐藏的有价值信息，还可以进行可视化表达，使信息一目了然。该文以常见WEB服务器日志为对象，研究了日志分析以及可视化的原理与过程。
关键词：WEB服务器；日志分析；可视化
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）21-0096-02
随着互联网的不断发展，几乎所有的企事业单位都有自己的网站，而B/S架构逐渐取代传统C/S架构又进一步促进了网站应用的增长，web管理问题日趋重要。管理一个网站不仅要保证内容的丰富度、程序的可靠性，还要不断提高用户的访问质量、保证网站的安全，而这后两项就依赖于WEB日志信息。
WEB日志记录了服务器接收并处理请求以及运行时错误等各种原始信息。通过对日志进行统计、分析和综合，就能有效地掌握服务器的运行状况、发现和排除错误原因、了解客户访问分布、发现安全漏洞等，更好地加强系统的维护和管理[1]。
1 WEB日志
1.1 定义
WEB日志消息就是WEB服务器在浏览器客户端访问WEB页面请求资源（页面、图片、文件等等）时所记录的一定格式的信息。
1.2 原理
WEB服务器是如何记录日志的，记录什么日志，首先要了解万维网（WWW）工作模式。万维网采用客户机/服务器模式，使用HTTP协议，具体工作流程如下：
1） 建立连接：客户端的浏览器向服务端发出建立连接的请求，服务端给出响应就可以建立连接了。
2） 发送请求：客户端按照协议的要求通过连接向服务端发送自己的请求。
3） 给出应答：服务端按照客户端的要求给出应答，把结果（HTML文件）返回给客户端。
4） 关闭连接：客户端接到应答后关闭连接。服务器端将相应的访问信息和错误信息写到日志文件。
1.3 格式
WEB服务器日志大多以具有一定格式的文本形式存放。本文以APACHE服务器日志为例。
Apache WEB服务的日志主要有CommonLog和ErrorLog两种，分别记录访问日志和错误日志，其格式和含义如表1、表2所示：
2 WEB日志分析
分析日志必须知道日志的核心要素和分析策略。如表3、表4所示。根据日志要素和可用的策略可以得到日志分析的相关算法和程序[2-3]。
3 WEB日志可视化
可视化是这样一个过程，它将数据信息和知识转化为一种视觉形式，充分利用人们对可视模式快速识别的自然能力[4]。WEB日志是一种信息，日志分析结果是一种知识，为了更直观的理解它，可以利用可视化工具对其进行可视化展现。
3.1 信息可视化参考模型[5]
在图1的信息可视化参考模型中：
1） “原始数据”经过“数据转换”映射为“数据表”（数据的相关性描述）；
2） 数据表经过“可视化映射”转换为“可视化结构”；
3） 可视化结构经过“视图变换”成为“视图”；
4） “用户的交互动作”用来控制这些变换的参数；
5） 可视化和它们的控制最终服务于“任务”。
3.2 WEB日志可视化探讨
WEB日志可视化本质上是一种信息可视化，可以利用信息可视化的各种工具。原始数据是日志文件，其中包含了时间信息（访问日期）、空间信息（访问地址）、类型信息（访问页面分类、错误分类、来源分类等），按照日志要素，采用一定的策略，经过分析后可以转换为数据表，使用饼图、折线图、树图等对时间信息进行可视化转换，使用树图、地图、热力图等对空间信息进行可视化转换，最终得到各种视图。用户通过位置探查，即利用一个时间或空间位置动态地查看附加的数据信息，也可以采用移动、放大、缩小、裁剪等视点控制的交互动作来服务于他的任务。
目前的信息可视化软件从入门级的（如EXCEL）到在线的（如FLOT、D3、Visual.ly），还有地图工具（如Modest Maps、Leaflet），以及科学计算所用的专家级软件（如R、Mathematica）均可以用来作为WEB日志可视化的工具。
4 结束语
WEB日志分布广、数据量大，天然地包含时空信息，对其进行分析与可视化，发掘其可用价值是必要的。本文研究了WEB日志生成的原理和格式，给出了对日志进行分析的相关策略，讨论了日志可视化的理论、方法和软件。
参考文献：
[1] Chuvakin A A，Schmidt K J， Philips C.日志管理与分析权威指南[M]. 姚军， 简于涵， 刘晖， 等，译. 北京： 机械工业出版社， 2014.
[2] 田昌鹏. 基于Web 日志分析的Web QoS 研究[J]. 计算机科学， 2007， 34（6）： 78-79.
[3] 赵阳. 基于AWStats 的Web 服务日志分析[J]. 现代情报， 2006（10）： 139-140.
[4] Gershon N D， Eick S G. Information Visualization[J]. IEEE Computer Graphics and Applications，1997（7-8）： 29-31.
[5] Stuart Card， Jock Mackinlay， Ben Shneiderman. Readings in Information Visualization： Using Vision to Think[M]. Morgan Kaufmann， 1999.
关键词：WEB服务器；日志分析；可视化
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）21-0096-02
随着互联网的不断发展，几乎所有的企事业单位都有自己的网站，而B/S架构逐渐取代传统C/S架构又进一步促进了网站应用的增长，web管理问题日趋重要。管理一个网站不仅要保证内容的丰富度、程序的可靠性，还要不断提高用户的访问质量、保证网站的安全，而这后两项就依赖于WEB日志信息。
WEB日志记录了服务器接收并处理请求以及运行时错误等各种原始信息。通过对日志进行统计、分析和综合，就能有效地掌握服务器的运行状况、发现和排除错误原因、了解客户访问分布、发现安全漏洞等，更好地加强系统的维护和管理[1]。
1 WEB日志
1.1 定义
WEB日志消息就是WEB服务器在浏览器客户端访问WEB页面请求资源（页面、图片、文件等等）时所记录的一定格式的信息。
1.2 原理
WEB服务器是如何记录日志的，记录什么日志，首先要了解万维网（WWW）工作模式。万维网采用客户机/服务器模式，使用HTTP协议，具体工作流程如下：
1） 建立连接：客户端的浏览器向服务端发出建立连接的请求，服务端给出响应就可以建立连接了。
2） 发送请求：客户端按照协议的要求通过连接向服务端发送自己的请求。
3） 给出应答：服务端按照客户端的要求给出应答，把结果（HTML文件）返回给客户端。
4） 关闭连接：客户端接到应答后关闭连接。服务器端将相应的访问信息和错误信息写到日志文件。
1.3 格式
WEB服务器日志大多以具有一定格式的文本形式存放。本文以APACHE服务器日志为例。
Apache WEB服务的日志主要有CommonLog和ErrorLog两种，分别记录访问日志和错误日志，其格式和含义如表1、表2所示：
2 WEB日志分析
分析日志必须知道日志的核心要素和分析策略。如表3、表4所示。根据日志要素和可用的策略可以得到日志分析的相关算法和程序[2-3]。
3 WEB日志可视化
可视化是这样一个过程，它将数据信息和知识转化为一种视觉形式，充分利用人们对可视模式快速识别的自然能力[4]。WEB日志是一种信息，日志分析结果是一种知识，为了更直观的理解它，可以利用可视化工具对其进行可视化展现。
3.1 信息可视化参考模型[5]
在图1的信息可视化参考模型中：
1） “原始数据”经过“数据转换”映射为“数据表”（数据的相关性描述）；
2） 数据表经过“可视化映射”转换为“可视化结构”；
3） 可视化结构经过“视图变换”成为“视图”；
4） “用户的交互动作”用来控制这些变换的参数；
5） 可视化和它们的控制最终服务于“任务”。
3.2 WEB日志可视化探讨
WEB日志可视化本质上是一种信息可视化，可以利用信息可视化的各种工具。原始数据是日志文件，其中包含了时间信息（访问日期）、空间信息（访问地址）、类型信息（访问页面分类、错误分类、来源分类等），按照日志要素，采用一定的策略，经过分析后可以转换为数据表，使用饼图、折线图、树图等对时间信息进行可视化转换，使用树图、地图、热力图等对空间信息进行可视化转换，最终得到各种视图。用户通过位置探查，即利用一个时间或空间位置动态地查看附加的数据信息，也可以采用移动、放大、缩小、裁剪等视点控制的交互动作来服务于他的任务。
目前的信息可视化软件从入门级的（如EXCEL）到在线的（如FLOT、D3、Visual.ly），还有地图工具（如Modest Maps、Leaflet），以及科学计算所用的专家级软件（如R、Mathematica）均可以用来作为WEB日志可视化的工具。
4 结束语
WEB日志分布广、数据量大，天然地包含时空信息，对其进行分析与可视化，发掘其可用价值是必要的。本文研究了WEB日志生成的原理和格式，给出了对日志进行分析的相关策略，讨论了日志可视化的理论、方法和软件。
参考文献：
[1] Chuvakin A A，Schmidt K J， Philips C.日志管理与分析权威指南[M]. 姚军， 简于涵， 刘晖， 等，译. 北京： 机械工业出版社， 2014.
[2] 田昌鹏. 基于Web 日志分析的Web QoS 研究[J]. 计算机科学， 2007， 34（6）： 78-79.
[3] 赵阳. 基于AWStats 的Web 服务日志分析[J]. 现代情报， 2006（10）： 139-140.
[4] Gershon N D， Eick S G. Information Visualization[J]. IEEE Computer Graphics and Applications，1997（7-8）： 29-31.
[5] Stuart Card， Jock Mackinlay， Ben Shneiderman. Readings in Information Visualization： Using Vision to Think[M]. Morgan Kaufmann， 1999.