基于信息抽取的比较购物垂直搜索的研究与设计

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:liug1001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的飞速发展,Web的信息量越来越大,通用搜索引擎将面临信息采集、检索等方面更大的挑战。随着电子商务的蓬勃发展,网上商品的交易越来越频繁,更多的消费者通过搜索引擎来寻找和购买在线产品,但是用户常常难以快速、准确地从海量信息中找到自己所需的且可比较的信息。为解决这些问题,比较购物垂直搜索应运而生。   本文旨在通过WEB信息抽取、中文分词、信息融合等相关垂直搜索技术对网页信息进行处理,使计算机能够自动完成商品信息抽取和融合,最后呈现给用户一个完整的商品信息视图,提供一个初步的比较购物垂直搜索系统模型。它有助于提高信息抽取自动化程度,监控竞争对手的市场策略,以及衍生新的商业模式。   本文针对网页噪音和网页非结构化信息抽取模板生成复杂度高的问题,提出一种基于模板的快速网页文本自动抽取算法。该算法对网页噪音预处理,将其DOM树结构进行标签HASH映射,通过自动训练的阈值快速判定网页的主要部分,根据数据块中的嵌套结构获取网页文本抽取模板。然后使用网页文本主题分析和正则模板匹配等技术,实现一套针对商品信息的在线抽取方法。   为了增加商品垂直搜索的准确性,维护日益更新的商品名词,本文提出了基于主题的自适应的分词方法,使用候选词典和专业词库来指导分词和歧义消除,能有效地提高专业领域中分词的准确率。   本文进行了系统的总体设计、数据库表结构设计;对关键模块的设计引入(Plug-in)机制;并结合一些开源框架对部分系统模块和底层时序调度进行实现。文中介绍了主要模块的实现细节,并根据抽取的商品信息属性,提出相应的数据融合策略。最后以图书商品为例进行了系统运行实验。实验运行结果表明:本文相关算法和设计是可行的,系统能够完成初步的设计目的,为进一步的扩展打下基础。
其他文献
学位
带硬约束的MAX—SAT问题又称为Partial MAX—SAT问题,它是SAT问题和MAX—SAT问题的结合,比后两者有着更强的描述问题的能力和更广泛的应用背景。人工智能、电路设计、生物信息
随着数字图像技术的发展,数字图像处理在岩体工程中得到了广泛的应用。在岩体工程中,岩石节理裂隙的几何特征是一个非常重要的性质。提取岩石图像中的各种节理裂隙,了解节理裂隙
学位
近年来,以Internet为代表的信息网络给人们的生活带来了巨大的变化。通过Internet上网已经成为人们生活中不可缺少的一部分,而且现在人们还要求在移动中获得Internet服务。为此
学位
随着互联网和多媒体技术的迅速发展,人们可以访问到的视频数据急剧增长,如何从这些海量的数据中寻找感兴趣的内容成为一个非常重要的研究课题。通常,人们利用特征提取算法从多媒
学位
多方保密计算是近几年国际密码学界的一个研究热点。它的应用范围很广,比如数据挖掘、科学计算、数据库利用等等,已成为密码学领域里一个极端重要的工具,计算领域里一个必不
随着传统身份认证技术出现的漏洞和不足,身份安全问题地解决迫在眉睫。因此人们开始对生物特征认证技术进行研究,作为最可靠的生物特征认证技术之一的虹膜识别,因其唯一性、稳定
学位
20世纪90年代后期出现了一种新兴编程技术--面向Aspect编程(Aspect-Oriented Programming,AOP),成为软件工程领域研究热点之一。随着AOP技术的日趋完善,迫切需要一种贯穿需求
学位
在当今计算机和Internet产业的发展中,嵌入式系统成为一个重要的发展领域,而嵌入式实时操作系统(RTOS)在嵌入式系统软件体系中起着越来越重要的作用。μC/OS-Ⅱ是一个公开源
学位
排序是信息检索的核心问题,因为一个搜索系统的好坏主要由它的排序结果的正确率来评价。信息检索中提出了许多排序模型。直到最近,被称为“排序学习”的机器学习技术被深入应用