论文部分内容阅读
随着互联网的迅速发展,快速准确获取信息成为制约各行业发展的瓶颈。互联网作为全球最大的信息资源宝库,受到了越来越来多地重视,通用搜索引擎应运而生。然而,通用搜索由于“信息过载”问题,会给用户带来大量无用信息,垂直搜索成为新的研究热点。
与通用搜索不同,垂直搜索引擎仅仅专注于某一领域。其对于网页信息的初步提取,一方面使搜索精度提高;另一方面使浏览者不用逐页阅读网页,提高了效率。本论文的主要内容是关于垂直搜索构建的相关技术,并重点探讨了英文网页关键词提取与产品网页的信息提取问题。
本论文开展的主要工作及创新如下:
1.提出一种基于词性颗粒度的英文网页关键词提取算法。该算法首先将文本进行3-gram分词处理,同时去掉停用词:然后把中心词与修饰词等不同词性颗粒给与不同权值打分,最后通过软阈值输出技术输出关键词,实现了一个比较通用的关键词抽取系统。
2.提出一种新的商品网页信息分块算法。该算法基于本文提出的一套商品网页规则化度量标准。论文依据商品网页的可统计性,给出了网页规则化度量标准的数学表达式。本文算法首先将网页表示成DOM树,然后将每一个叶节点表示成XPATH路径结构,同时根据得到的XPATH计算网页规则度的统计量,通过对路径XPATH的聚类与得到的网页信息块统计量,结合启发式规则,实现分割产品信息块。
3.实现了一种网页块分割与包装器(Wrapper)结合抽取产品信息的算法。该方法首先利用网页信息块分割算法,分割出产品信息块;然后采用基于DOM的实例路径覆盖算法,学习抽取模版,抽取产品信息。