论文部分内容阅读
Internet上的信息访问,以及大部分新兴的信息应用比如DSS、OLAP等分析型应用,都需要数据集成技术的支持。数据仓库是数据集成的一个典型应用。美国斯坦福大学的WHIPS项目在数据仓库联机维护方面进行了卓有成效的研究工作,提出了相关的体系结构,对其中的组件——监视器、集成器也作了比较完善的实现。但在这些相关的的研究工作中,并未深入地考虑如何让信息源发挥更为主动和有效的作用。 智能化持续信息支持是指信息服务系统随本身信息的变化,按预先定义好的需求,持续不断、主动地将新的信息内容提供给信息使用者。在数据集成系统中,如果数据源具备智能化持续信息支持能力,则可以充分满足集成端的复杂需求,提高数据传输和集成维护效率。 在数据集成系统中,监视器的作用是检测分析数据源的变化并报送给集成端。为使数据源具备智能化持续信息支持的能力,着手对已有监视器的实现做以下改进:1、将监视对象范围从基表扩大到源视图;避免报送那些不必要的数据源变化。2、提供可定义的监视规则,即监视器检测分析和报送数据源变化的执行规则;以满足集成端对监视周期等的复杂要求。 根据以上改进,我们提出了监视器的系统结构。相关的研究与实现工作包括以下三方面的内容: 首先是监视规则的表示和管理问题。我们设计了监视规则的库结构,给出了监视规则所包含的属性和意义。实现了管理监视规则的接口,并提供前端工具以方便用户对监视规则的管理。华南师范大学硕士学位论文 其次是检测分析数据源变化的问题,即检测分析器的实现。先是给出了检测分析器的软件结构,采用多线程并发工作的方式,有效保证了检测分析工作的效率和响应时问。重点是两种检测分析方法的研究和实现。对基于快照差分的检测分析方法,我们实现了三种快照差分算法:Sort Mefge算法、Partition Hash算法和Wndow算法;对基于日志的检测分析方法,讨论了 Oracle和 SQL Server两种关系数据库的日志分析方法。同时也描述了相关的功能组件和数据结构。 最后是数据源变化报送的问题,其关键是如何保证这一数据传输过程的健壮性。我们采用TCPny协议来保证该数据传输过程的可靠性;通过记录检查点的方法,保证了该数据传输过程的可恢复性。