论文部分内容阅读
无论是DeepWeb数据集成系统,还是数字图书馆的跨库集成检索系统,都面临的一个巨大挑战就是如何更加高效地集成各种分布的、异构的Web数据源。这个问题具体又可以分为两个子问题。一是Web数据源查询接口的理解。Web数据源在底层数据模型和查询接口设计等方面各不相同,如何让机器从语义上理解Web数据源的查询接口,是集成系统要解决的首要问题。二是查询转换。集成接口和Web数据源的接口模式存在很大差异,如何在两种模式间进行查询转换,特别是在对复杂查询提问进行查询转换时,如何最大程度地减少转换中丢失的信息,是一个关系集成系统的使用效果和用户体验的关键问题。
本文以数字图书馆的跨库集成检索系统作为平台,针对目前Web数据源连接器的手动生成方式日益成为Web环境下大规模数据集成的瓶颈这一现实,以解决查询接口理解和查询转换为重点,设计了一个连接器生成系统,并对原型系统中采用的关键技术进行了剖析和详细阐述。
为验证原型系统所进行的查询接口模式抽取及模式映射的效果,本文选取若干Web数据源,在连接器生成系统所创建的连接器上进行了查询转换实验,并对实验结果作了深入分析。实验结果表明,对于各种不同类型、不同特点的Web数据源查询接口,连接器生成系统都能够进行有效的模式抽取和模式映射等处理,创建数据源连接器,从而将Web数据源集成到跨库集成检索系统,并保证所生成的连接器能对集成接口上的查询提问进行正确而高效的查询转换。
连接器生成系统的实现,将为跨库集成检索系统大规模地集成Web数据源提供极大的支持。非程序员的普通用户可以方便地创建连接器,并在Web数据源的连接机制、查询接口等发生变化时,快速地对其连接器进行更新,从而确保跨库集成检索系统整体的健壮性和适用性。