论文部分内容阅读
【文章摘要】
本文利用Web挖掘的方法和技术对用户所访问的页面序列进行挖掘，构建路径优化的模型，实现对当前站点排序方式的优化，从而最大限度地优化用户访问体验，提高当前站点信息获取的整体效率。
【关键词】
路径优化；Web挖掘；访问序列
传统的Web网站以系统自身为中心，为了容纳大量的信息，以图结构组织网站，页面之间存在着比较复杂的层次关系。这些预先设计好的浏览路径（网站的结构）严格按照设计者编辑好的层次返回页面，因此，为了获取特定的信息，从同一页面出发的所有用户都不得不重复地经过很多与自己毫无关系的、不希望看到的中间链接页面，使得用户为了获取少量的信息付出较大的代价。如果在确保网页内容的前提下，实现网站物理结构的调整和再组织，就可以避免混乱。站点路径优化实际上就是站点管理者优化其站点结构，它的出现就是为了提高用户的访问效率以及用户对站点的忠诚度。
1 站点个性化与路径优化
所谓站点个性化实质上就是为站点用户提供个性化的站点访问体验。对于一般站点而言，站点管理者进行路径优化的直接目的就是提高用户点击行为的效用度，最终目的是提高用户满意度与忠诚度。站点路径的优化实际上就是优化站点结构，消除站点实际安排与用户期望之间差异的过程，它为站点个性化提供了一种思路，即用户一系列的浏览行为所遍及的页面序列就是用户针对目标页面的寻找过程，此时站点设计可以考虑调整网站的结构、在频繁访问路径处添加指向目标页面的链接，或者是将常见浏览路径加入缓存。
网站的频繁浏览路径体现了特定的用户在特定时期内的活动规律，是站点路径优化的依据。它包括两个方面的内容：首先是个体用户在其浏览历史区域中多次重复出现的浏览路径，另一方面即用户群体在一定时期中浏览历史区域内出现的浏览重复行为，即浏览模式。
前者可以为用户提供“一对一”的具备自适应性的在线动态智能个性化服务，这种智能个性化服务可大大缩短用户在网络上的访问延迟，使得提供给用户的网络信息服务质量得到最大限度的提高。后者则通过离线修改实施改进，用以优化用户浏览体验，提高当前站点信息获取的整体效率，同时提高用户满意度和忠诚度。
2 基于Web挖掘的路径优化模型
Web挖掘从数据挖掘发展而来，但Web挖掘与传统的数据挖掘相比有许多独特之处。首先，Web挖掘的对象是大量、不同和分散型的Web文件；其次，Web文件本身是半结构化或无结构的，因此Web挖掘所得到的模式可能是关于内容的，也可能是关于结构的；最后，有些数据挖掘技术并不适用于Web挖掘，即使可以用也需要建立在对Web文件进行预先处理的基础之上。
2.1 访问序列挖掘实现过程的理论分析
Web挖掘技术以Web日志为数据源。因为每当用户在点击链接向站点发出页面浏览请求时，该用户的IP地址、浏览日期和时间、浏览页面URL及引用页面等信息会被记录在Web日志中，用户浏览点击页面就按照时间顺序以页面URL序列的形式隐藏在Web日志中。用户访问序列挖掘即通过对Web日志进行系统的分析和预处理，将用户以往的浏览序列从日志中提取及表示出来，并采用各种Web挖掘方法和算法从不同的角度获得各类用户可能的网页浏览顺序，探索总结出用户浏览网页的规则和模式。
从服务器的角度分析，挖掘发现的是提供服务的网站的信息，挖掘结果可以帮助改善网站的设计。从用户的点击序列分析，可以发现一个（或者一组）用户的信息，可帮助实现网页的预存取和缓存。
2.2 站点路径优化的模型构建
以Web日志为数据源进行的站点路径优化的挖掘模型，采用了数据挖掘及Web日志挖掘的相关技术和算法获取用户浏览规则与模式，为网络结构优化、站点重构提供参考及个性化服务推荐设计提供了依据。据此站点路径优化的模型可分为数据预处理和站点路径优化实现两个部分，站点路径优化部分可从两个方面来考虑：一是通过对Web日志的挖掘，发现用户的期望位置。如果在期望位置的访问频率高于实际位置的访问频率，可考虑在期望位置和实际位置之间建立导航链接，从而实现对Web站点的优化。二是通过对Web日志的挖掘，发现用户访问页面的相关性，从而对密切联系的页面之间增加链接，方便用户使用。
3 站点路径优化的实现
3.1 Web日志数据收集
Web服务系统是一个多层次的逻辑结构，包括客户端、代理服务器端、Web服务器端。本文挖掘的是本站点用户的频繁访问路径、用户聚类等，因此适合采用Web服务器端的用户访问模式挖掘。Web服务器日志由三部分组成：访问日志、引用日志和代理日志，包括用户访问Web站点时，所访问的页面、时间、用户ID等信息。
3.2 站点数据预处理
Web站点及访问数据预处理部分主要包括站点结构数据预处理、内容数据预处理和Web日志数据预处理。其中，结构数据预处理的任务是描述站点的拓扑结构图、站点页面文件链接有向图，并明确站点各个页面文件链接的请求（Request）方法，如GET、POST、HEAD等。站点内容数据预处理包括将文本、图片、脚本和其他多媒体文件转变为用户对站点浏览模式记录信息的开发与利用有用的格式。
3.3 基于Web日志挖掘的路径优化实现
站点路径优化可以分为两类：用户群访问模式挖掘的路径优化和个性化挖掘的路径优化。一般访问模式挖掘的路径优化通过分析在特定时间点的特定用户群的访问记录来了解用户的浏览模式和倾向，以改进站点的组织结构；而个性化挖掘的路径优化则倾向于分析个别用户的偏好，根據用户的访问模式，为其提供定制服务。
用户群访问模式的路径优化是对用户群访问模式的问题，采用挖掘频繁访问的最大序列的方法可以挖掘出更有普遍意义的模式，算法包括有Apriori算法，最大向前序列法，参考长度法和树形拓扑结构法等。它们先将日志中的用户浏览历史记录转换成一个浏览子序列集：最大向前序列法根据用户折返的特性形成若干浏览子序列；参考长度法根据用户在网页上停留的时间形成若干个浏览子序列；树形拓扑结构法则把整个日志当作浏览子序列。然后利用关联规则法对浏览子序列进行挖掘找出频繁访问路径。
4 结语
站点路径优化可指导用户的浏览行为，提高浏览信息效率，将页面加入缓存提高访问速度，提高用户对站点访问的满意度。访问规律的获取对算法提出了较高的要求，可以借鉴现有模式发现算法实现浏览结构的优化。
【参考文献】
阮备军.Web使用挖掘若干关键问题研究[D].复旦大学，2004.
【作者简介】
闻名（1982—），男，辽宁省瓦房店人，同济大学软件学院硕士研究生。
本文利用Web挖掘的方法和技术对用户所访问的页面序列进行挖掘，构建路径优化的模型，实现对当前站点排序方式的优化，从而最大限度地优化用户访问体验，提高当前站点信息获取的整体效率。
【关键词】
路径优化；Web挖掘；访问序列
传统的Web网站以系统自身为中心，为了容纳大量的信息，以图结构组织网站，页面之间存在着比较复杂的层次关系。这些预先设计好的浏览路径（网站的结构）严格按照设计者编辑好的层次返回页面，因此，为了获取特定的信息，从同一页面出发的所有用户都不得不重复地经过很多与自己毫无关系的、不希望看到的中间链接页面，使得用户为了获取少量的信息付出较大的代价。如果在确保网页内容的前提下，实现网站物理结构的调整和再组织，就可以避免混乱。站点路径优化实际上就是站点管理者优化其站点结构，它的出现就是为了提高用户的访问效率以及用户对站点的忠诚度。
1 站点个性化与路径优化
所谓站点个性化实质上就是为站点用户提供个性化的站点访问体验。对于一般站点而言，站点管理者进行路径优化的直接目的就是提高用户点击行为的效用度，最终目的是提高用户满意度与忠诚度。站点路径的优化实际上就是优化站点结构，消除站点实际安排与用户期望之间差异的过程，它为站点个性化提供了一种思路，即用户一系列的浏览行为所遍及的页面序列就是用户针对目标页面的寻找过程，此时站点设计可以考虑调整网站的结构、在频繁访问路径处添加指向目标页面的链接，或者是将常见浏览路径加入缓存。
网站的频繁浏览路径体现了特定的用户在特定时期内的活动规律，是站点路径优化的依据。它包括两个方面的内容：首先是个体用户在其浏览历史区域中多次重复出现的浏览路径，另一方面即用户群体在一定时期中浏览历史区域内出现的浏览重复行为，即浏览模式。
前者可以为用户提供“一对一”的具备自适应性的在线动态智能个性化服务，这种智能个性化服务可大大缩短用户在网络上的访问延迟，使得提供给用户的网络信息服务质量得到最大限度的提高。后者则通过离线修改实施改进，用以优化用户浏览体验，提高当前站点信息获取的整体效率，同时提高用户满意度和忠诚度。
2 基于Web挖掘的路径优化模型
Web挖掘从数据挖掘发展而来，但Web挖掘与传统的数据挖掘相比有许多独特之处。首先，Web挖掘的对象是大量、不同和分散型的Web文件；其次，Web文件本身是半结构化或无结构的，因此Web挖掘所得到的模式可能是关于内容的，也可能是关于结构的；最后，有些数据挖掘技术并不适用于Web挖掘，即使可以用也需要建立在对Web文件进行预先处理的基础之上。
2.1 访问序列挖掘实现过程的理论分析
Web挖掘技术以Web日志为数据源。因为每当用户在点击链接向站点发出页面浏览请求时，该用户的IP地址、浏览日期和时间、浏览页面URL及引用页面等信息会被记录在Web日志中，用户浏览点击页面就按照时间顺序以页面URL序列的形式隐藏在Web日志中。用户访问序列挖掘即通过对Web日志进行系统的分析和预处理，将用户以往的浏览序列从日志中提取及表示出来，并采用各种Web挖掘方法和算法从不同的角度获得各类用户可能的网页浏览顺序，探索总结出用户浏览网页的规则和模式。
从服务器的角度分析，挖掘发现的是提供服务的网站的信息，挖掘结果可以帮助改善网站的设计。从用户的点击序列分析，可以发现一个（或者一组）用户的信息，可帮助实现网页的预存取和缓存。
2.2 站点路径优化的模型构建
以Web日志为数据源进行的站点路径优化的挖掘模型，采用了数据挖掘及Web日志挖掘的相关技术和算法获取用户浏览规则与模式，为网络结构优化、站点重构提供参考及个性化服务推荐设计提供了依据。据此站点路径优化的模型可分为数据预处理和站点路径优化实现两个部分，站点路径优化部分可从两个方面来考虑：一是通过对Web日志的挖掘，发现用户的期望位置。如果在期望位置的访问频率高于实际位置的访问频率，可考虑在期望位置和实际位置之间建立导航链接，从而实现对Web站点的优化。二是通过对Web日志的挖掘，发现用户访问页面的相关性，从而对密切联系的页面之间增加链接，方便用户使用。
3 站点路径优化的实现
3.1 Web日志数据收集
Web服务系统是一个多层次的逻辑结构，包括客户端、代理服务器端、Web服务器端。本文挖掘的是本站点用户的频繁访问路径、用户聚类等，因此适合采用Web服务器端的用户访问模式挖掘。Web服务器日志由三部分组成：访问日志、引用日志和代理日志，包括用户访问Web站点时，所访问的页面、时间、用户ID等信息。
3.2 站点数据预处理
Web站点及访问数据预处理部分主要包括站点结构数据预处理、内容数据预处理和Web日志数据预处理。其中，结构数据预处理的任务是描述站点的拓扑结构图、站点页面文件链接有向图，并明确站点各个页面文件链接的请求（Request）方法，如GET、POST、HEAD等。站点内容数据预处理包括将文本、图片、脚本和其他多媒体文件转变为用户对站点浏览模式记录信息的开发与利用有用的格式。
3.3 基于Web日志挖掘的路径优化实现
站点路径优化可以分为两类：用户群访问模式挖掘的路径优化和个性化挖掘的路径优化。一般访问模式挖掘的路径优化通过分析在特定时间点的特定用户群的访问记录来了解用户的浏览模式和倾向，以改进站点的组织结构；而个性化挖掘的路径优化则倾向于分析个别用户的偏好，根據用户的访问模式，为其提供定制服务。
用户群访问模式的路径优化是对用户群访问模式的问题，采用挖掘频繁访问的最大序列的方法可以挖掘出更有普遍意义的模式，算法包括有Apriori算法，最大向前序列法，参考长度法和树形拓扑结构法等。它们先将日志中的用户浏览历史记录转换成一个浏览子序列集：最大向前序列法根据用户折返的特性形成若干浏览子序列；参考长度法根据用户在网页上停留的时间形成若干个浏览子序列；树形拓扑结构法则把整个日志当作浏览子序列。然后利用关联规则法对浏览子序列进行挖掘找出频繁访问路径。
4 结语
站点路径优化可指导用户的浏览行为，提高浏览信息效率，将页面加入缓存提高访问速度，提高用户对站点访问的满意度。访问规律的获取对算法提出了较高的要求，可以借鉴现有模式发现算法实现浏览结构的优化。
【参考文献】
阮备军.Web使用挖掘若干关键问题研究[D].复旦大学，2004.
【作者简介】
闻名（1982—），男，辽宁省瓦房店人，同济大学软件学院硕士研究生。