论文部分内容阅读
笔者开发一个数据采集原型系统--SEⅡECU DGS系统,该系统(1)实现了从Web数据源(HTML文本)中提取数据的方法,并且利用该方法从Internet网上提供的关于股票信息的HTML文本中提取出了各股信息;(2)提供了完善的元数据管理功能,将数据采集程序和元数据完全隔离,提出了一个"元数据驱动"的数据采集方法;(3)在系统的实现中,引入了数据源查询能力描述语言的概念.系统利用该描述语言来描述数据源所支持的查询,并且提出了一个完整的算法,利用数据源查询能力描述语言的描述,来判断用户提交的数据采集任务是否能够完成.在该文中,笔者对这个系统进行详细的介绍.首先,笔者通过分析当前数据仓库技术的研究热点,提出了该文的研究方向;随后,介绍了数据采集的基本概念,并通过对现有数据采集系统的分析,引出了笔者开发的SEⅡECU DGS系统;在随后的章节中,笔者对该系统的体系结构、系统中所使用到的关键技术以及系统的关键组件进行了详细的介绍;最后,对该文的工作进行了一个总结并提出了未来的研究方向.