论文部分内容阅读
[摘要] 本文介绍了Web数据挖掘的概念及其分类，探讨了电子商务中Web数据挖掘的过程，重点研究了Web数据挖掘方法，从而有效提高电子商务企业的竞争力。
[关键词] 电子商务 数据挖掘 Web挖掘
Internet是一个巨大、分布广泛、全球性的信息资源储备库。随着上网人数的急剧增加，电子商务的蓬勃发展，各种基于互联网的商业Web站点也面临越来越激烈的竞争。Web包含了丰富和动态的超链接信息，以及Web页面的访问和使用信息，这为数据挖掘提供了大量丰富的资源。
一、电子商务与Web数据挖掘
电子商务（E-Commerce）是以网络为平台，以现代信息技术为手段，以经济效益为中心的现代化商业运转模式，其最终目标是实现商务活动的网络化、自动化与智能化。无论EC企业采用B2B、B2C还是B2G电子商务模式，商品的采购者都需要通过Web方式与商品的供应商及其合作者之间建立信息流的交互，那么，一方面通过Web方式与购买者主动、方便、快捷的获得期望主题的信息；另一方面供应商与合作伙伴们如何通过他们的集成信息系统，运用知识把访问者、网上购买者的访问数据从潜在的、隐含的、事先不知的状态，经过提取、洗涤、加工变为潜力巨大的价值信息，从而提高企业的核心竞争力。
Web数据挖掘（Web Data Mining）是利用数据挖掘从Web文档及Web服务中自动发现并提取用户感兴趣的、潜在的、有用的模式和隐藏信息。Web数据挖掘的主要目标就是从Web的访问记录中抽取用户感兴趣的模式，WWW服务器中的访问日志，记录了关于用户访问和交互的信息，通过Web数据挖掘，就可以根据用户的访问兴趣、访问频度、访问时间动态地调整页面结构，改进服务，开展有针对性的电子商务活动，以更好地满足客户的需求。
二、Web挖掘的分类
Web挖掘是从WWW上抽取知识的过程。它是从与WWW相关的资源和行为中抽取感兴趣的有用的模式和隐含信息。
1.Web内容挖掘
Web内容挖掘是对Web页面内容进行挖掘,是从大量的Web 数据中发现信息、抽取知识的过程。Web挖掘的数据源有：服务器数据、查询数据、在线市场数据、Web页面、Web页面的超级链接关系、客户登记信息等。
2.Web结构挖掘
Web结构挖掘是从WWW上的组织结构和链接关系中推导知识。由于超文本文档间的关联关系使得WWW不仅仅可以揭示文档中所包含的信息，同时也可以揭示文档间的关联关系所代表的信息。利用这些信息可以对页面进行排序，发现重要的页面。挖掘Web结构的目的是发现页面的结构和Web结构，在此基础上对页面进行分类和聚类，从而找到权威页面。
3.Web使用记录挖掘
Web使用记录挖掘的主要目标是从Web的访问记录中抽取感兴趣的模式。WWW中的每个服务器都保留了访问日志(Web access log)，记录了关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为，从而改进站点的结构，或为用户提供个性化的服务。
三、Web挖掘的过程和方法
1.Web挖掘的过程
电子商务中的Web挖掘过程一般由3个主要阶段组成：数据准备、挖掘操作、结果表达和解释。
(1)数据准备：这个阶段又可分成3个子步骤：数据集成、数据选择、数据预处理。数据集成将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊准备，这个阶段又可分成为处理数据中的遗漏等。数据选择的目的是辨别出需要分析的数据集合，缩小处理范围，提高数据挖掘的质量。预处理是为了克服数据挖掘工具的局限性。
(2)数据挖掘：这个阶段进行实际的挖掘操作，包括的要点有：决定如何产生假设；选择合适的工具；发掘知识的操作；证实发现的知识。
(3)结果表述和解释：根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息区分开来，并且通过决策支持工具提交给决策者。因此，这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意，需要重复上述过程。
2.Web数据挖掘的方法
(1)协同过滤：协同过滤技术采用最近邻技术，利用客户的历史、喜好信息计算用户之间的距离，目标客户对特点商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
(2)关联规则：关联规则是寻找在同一个事件中出现的不同项的相关性，用数学模型来描述关联规则发现的问题：x=>y的蕴含式，其中x,y为属性——值对集（或称为项目集），且X∩Y空集。在数据库中若S%的包含属性——值对集X的事务也包含属性——值集Y，则关联规则X=>Y的置信度为C%。
(3)Web日志的聚类算法：聚类分析是把具有相似特征的用户或数据项归类,在网站管理中通过聚类具有相似浏览行为的用户。基于模糊理论的Web页面聚类算法与客户群体聚类算法的模糊聚类定义相同，客户访问情况可用URL(Uj)表示。有Suj={(Ci，fSuj(Ci))|Ci∈C}，其中fSuj(Ci)→[0，1]是客户Ci和URL(Uj)间的关联度： 式中m为客户的数量，hits(Ci)表示客户Ci访问URL(Uj)的次数。利用Suj和模糊理论中的相似度度量Sfij定义建立模糊相似矩阵，再根据相似类[Xi]R的定义构造相似类，合并相似类中的公共元素得到的等价类即为相关Web页面。
(4)序列分析：序列模式分析和关联分析类似，其目的也是为了挖掘数据之间的联系，但序列模式分析的侧重点在于分析数据间的前后序关系。它能发现数据库中如“在某一段时间内，客户购买商品A，接着会购买商品B，尔后又购买商品C，即序列A→B→C出现的频率高”之类的信息。序列模式描述的问题是：在给定的交易序列数据库中，每个序列按照交易的时间排列的一组交易集，挖掘序列函数作用是返回该数据库中高频率出现有序列。
四、结束语
电子商务是现代化技术发展的必然结果，也是未来商业运作模式的必然选择，但还需进一步键全电子商务的安全立法和完善物流配送体系。为了给电子商务营造一个良好的环境，通过选择较好的数据挖掘方法，真正发挥数据挖掘的作用，才能使企业在激烈的市场竞争中做出正确的决策，保持有力的竞争优势。
参考文献：
[1]毛国君段立娟:数据挖掘原理与算法[M].清华大学出版社,2005.7
[2]王岚张鹏祥:基于Web的数据挖掘研究.长春师范学院学报,2005,24(3):59-61
[关键词] 电子商务 数据挖掘 Web挖掘
Internet是一个巨大、分布广泛、全球性的信息资源储备库。随着上网人数的急剧增加，电子商务的蓬勃发展，各种基于互联网的商业Web站点也面临越来越激烈的竞争。Web包含了丰富和动态的超链接信息，以及Web页面的访问和使用信息，这为数据挖掘提供了大量丰富的资源。
一、电子商务与Web数据挖掘
电子商务（E-Commerce）是以网络为平台，以现代信息技术为手段，以经济效益为中心的现代化商业运转模式，其最终目标是实现商务活动的网络化、自动化与智能化。无论EC企业采用B2B、B2C还是B2G电子商务模式，商品的采购者都需要通过Web方式与商品的供应商及其合作者之间建立信息流的交互，那么，一方面通过Web方式与购买者主动、方便、快捷的获得期望主题的信息；另一方面供应商与合作伙伴们如何通过他们的集成信息系统，运用知识把访问者、网上购买者的访问数据从潜在的、隐含的、事先不知的状态，经过提取、洗涤、加工变为潜力巨大的价值信息，从而提高企业的核心竞争力。
Web数据挖掘（Web Data Mining）是利用数据挖掘从Web文档及Web服务中自动发现并提取用户感兴趣的、潜在的、有用的模式和隐藏信息。Web数据挖掘的主要目标就是从Web的访问记录中抽取用户感兴趣的模式，WWW服务器中的访问日志，记录了关于用户访问和交互的信息，通过Web数据挖掘，就可以根据用户的访问兴趣、访问频度、访问时间动态地调整页面结构，改进服务，开展有针对性的电子商务活动，以更好地满足客户的需求。
二、Web挖掘的分类
Web挖掘是从WWW上抽取知识的过程。它是从与WWW相关的资源和行为中抽取感兴趣的有用的模式和隐含信息。
1.Web内容挖掘
Web内容挖掘是对Web页面内容进行挖掘,是从大量的Web 数据中发现信息、抽取知识的过程。Web挖掘的数据源有：服务器数据、查询数据、在线市场数据、Web页面、Web页面的超级链接关系、客户登记信息等。
2.Web结构挖掘
Web结构挖掘是从WWW上的组织结构和链接关系中推导知识。由于超文本文档间的关联关系使得WWW不仅仅可以揭示文档中所包含的信息，同时也可以揭示文档间的关联关系所代表的信息。利用这些信息可以对页面进行排序，发现重要的页面。挖掘Web结构的目的是发现页面的结构和Web结构，在此基础上对页面进行分类和聚类，从而找到权威页面。
3.Web使用记录挖掘
Web使用记录挖掘的主要目标是从Web的访问记录中抽取感兴趣的模式。WWW中的每个服务器都保留了访问日志(Web access log)，记录了关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为，从而改进站点的结构，或为用户提供个性化的服务。
三、Web挖掘的过程和方法
1.Web挖掘的过程
电子商务中的Web挖掘过程一般由3个主要阶段组成：数据准备、挖掘操作、结果表达和解释。
(1)数据准备：这个阶段又可分成3个子步骤：数据集成、数据选择、数据预处理。数据集成将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊准备，这个阶段又可分成为处理数据中的遗漏等。数据选择的目的是辨别出需要分析的数据集合，缩小处理范围，提高数据挖掘的质量。预处理是为了克服数据挖掘工具的局限性。
(2)数据挖掘：这个阶段进行实际的挖掘操作，包括的要点有：决定如何产生假设；选择合适的工具；发掘知识的操作；证实发现的知识。
(3)结果表述和解释：根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息区分开来，并且通过决策支持工具提交给决策者。因此，这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意，需要重复上述过程。
2.Web数据挖掘的方法
(1)协同过滤：协同过滤技术采用最近邻技术，利用客户的历史、喜好信息计算用户之间的距离，目标客户对特点商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
(2)关联规则：关联规则是寻找在同一个事件中出现的不同项的相关性，用数学模型来描述关联规则发现的问题：x=>y的蕴含式，其中x,y为属性——值对集（或称为项目集），且X∩Y空集。在数据库中若S%的包含属性——值对集X的事务也包含属性——值集Y，则关联规则X=>Y的置信度为C%。
(3)Web日志的聚类算法：聚类分析是把具有相似特征的用户或数据项归类,在网站管理中通过聚类具有相似浏览行为的用户。基于模糊理论的Web页面聚类算法与客户群体聚类算法的模糊聚类定义相同，客户访问情况可用URL(Uj)表示。有Suj={(Ci，fSuj(Ci))|Ci∈C}，其中fSuj(Ci)→[0，1]是客户Ci和URL(Uj)间的关联度： 式中m为客户的数量，hits(Ci)表示客户Ci访问URL(Uj)的次数。利用Suj和模糊理论中的相似度度量Sfij定义建立模糊相似矩阵，再根据相似类[Xi]R的定义构造相似类，合并相似类中的公共元素得到的等价类即为相关Web页面。
(4)序列分析：序列模式分析和关联分析类似，其目的也是为了挖掘数据之间的联系，但序列模式分析的侧重点在于分析数据间的前后序关系。它能发现数据库中如“在某一段时间内，客户购买商品A，接着会购买商品B，尔后又购买商品C，即序列A→B→C出现的频率高”之类的信息。序列模式描述的问题是：在给定的交易序列数据库中，每个序列按照交易的时间排列的一组交易集，挖掘序列函数作用是返回该数据库中高频率出现有序列。
四、结束语
电子商务是现代化技术发展的必然结果，也是未来商业运作模式的必然选择，但还需进一步键全电子商务的安全立法和完善物流配送体系。为了给电子商务营造一个良好的环境，通过选择较好的数据挖掘方法，真正发挥数据挖掘的作用，才能使企业在激烈的市场竞争中做出正确的决策，保持有力的竞争优势。
参考文献：
[1]毛国君段立娟:数据挖掘原理与算法[M].清华大学出版社,2005.7
[2]王岚张鹏祥:基于Web的数据挖掘研究.长春师范学院学报,2005,24(3):59-61