论文部分内容阅读
如何帮助用户快速、高效地从万维网(WorldWideWeb,简称Web)海量的信息资源中寻找到自己满意的信息,已成为迫切需要解决的问题。目前的Web信息检索系统,诸如搜索引擎等,对于一项查询请求,往往返回成千上万的结果,其中却只有一小部分真正为用户所需要。究其原因,是由于对信息资源的特征获取较少,无法提供多角度、多层次的查询机制。当前的搜索引擎主要采用关键字查询方式,而关键字无法全面、准确地刻画用户的查询请求,导致查询效果不佳。
元数据描述了Web信息资源的内容特征和其他属性信息,利用元数据,可以提供多样化的查询手段、实现精确的信息检索。不仅如此,元数据还是构建其他高质量、个性化信息服务系统的基础。近年来的发展预示,元数据将为有效利用Web信息资源、扩展深化Web应用服务开辟一条新途径。
本文研究如何从HTML文档中提取该文档的元数据,HTML文档是目前Web网页的主要形式。由于HTML文档元数据大多蕴涵于文档正文中,无明显格式信息,因此只能依据统计规律实现提取。本文首先设计了一套适合人工书写的提取规则,用于刻画元数据的分布特征和提取方法。我们给出了规则的语法语义以及规则库的设计,并将其实现为一个原型系统MEDES(MEtaDataExtractingSystem),进行HTML文档元数据提取。实验证实了该方法的可行性,MEDES提取的元数据具有较高的准确率。
在使用人工书写的规则实现元数据提取的基础上,我们借鉴了信息抽取(InformationExtraction)领域的工作,针对元数据的分布特点,采用监督学习的方法,从训练样本集上自动规约提取规则。针对自动规约的需要,我们重新设计了提取规则,新规则与原来的规则具有相当的表达能力,但在语法形式上和文档片断接近,更适合自动生成。文中给出了详细的规约算法:首先将样本解析为词牌序列,然后针对每个训练样本生成完全正确的最特殊的规则,最后对规则进行泛化,以增强其预测未见样本的能力,泛化既包括对单个词牌的特征抽象,也包括对词牌序列多样性的抽象。我们扩展了MEDES系统,对规约算法予以了实现。虽然目前通过自动规约生成规则,在准确率上仍低于人工书写的规则,但由于其无需人工分析、总结元数据分布规律,适应了Web文档海量、动态、多样、非结构化的特点,因而具有一定的应用价值,值得进一步研究、改进。
在研究、实现HTML文档元数据提取的基础上,我们也对元数据应用作了初步尝试,将MEDES系统应用于“高质量、个性化信息服务”实验平台Dolphin系统中。首先,提供了对HTML文档元数据的展现功能,使得用户可以在浏览具体网页之前通过该网页的元数据作甑别选择,避免不必要的浏览行为,节约了用户时间和网络流量。在此基础上,提供了初步的基于元数据的检索功能,用户可以在HTML文档的各项元数据上施加查询条件,进行比较精确的检索。
HTML文档元数据的提取与利用,是一个较新的研究领域,尚有大量的工作要做。就本文涉及的范围而言,进一步的工作包括对提取规则、规则规约算法的改进,提高元数据提取的覆盖率和准确率,以及对元数据应用的扩展和深化。