论文部分内容阅读
摘 要:随着信息技术的快速发展,信息资源共享受到的关注力度不断提升,数据整合这一实现信息资源共享的重要途径也开始成为学界关注的焦点,基于此,本文简单分析了数据整合系统设计思路,并详细论述了基于计算机软件数据整合虚拟数据库体系的关键技术,希望由此能够为相关业内人士带来一定启发。
关键词:虚拟数据库;计算机软件数据;数据整合
前言:随着计算机、智能手机逐渐成为我国民众标配,近年来我国软件技术领域实现了较为长足的进步,但由此形成的一个个分散、封闭、异构的信息孤岛却对信息资源共享水平的提升带来了较为负面影响,而为了尽可能消除这种负面影响,正是本文围绕基于计算机软件数据整合虚拟数据库体系开展具体研究的原因所在。
1.数据整合系统设计思路
1.1整体设计思路
为实现基于计算机软件数据整合的虚拟数据库体系,研究选择了VDB(virtual database)虚拟数据库用于建设数据整合系统,该系统主要由于分散数据源的数据收集集成,并同时实现异质数据向同质数据的转化,而为了真正实现整合数据的有效利用,数据整合系统还需要留有统一、简单的关系数据库接口。对比VDB虚拟数据库与数据整合的特征不难发现,二者均拥有大量不同数据源且数据源的构成较为复杂,这类特征的出现使得二者具备结合的前提[1]。
因此,数据整合系统的数据集全局模型、主题知识全局模型采用了XML Schema创建,数据服务数据集则应用VDB虚拟数据库机理设计,数据源选择为关系数据库集,XML文档则用来存储异构数据源的元数据,由此即可形成数据库的数据字典,同时采用了包装不同类型数据源特性,赋予数据整合系统可扩展性和“即插即用”特性,同时应用的屏蔽异构数据源数据结构异构性手段进一步为系统功用提升提供了支持,图1为数据整合系统结构设计示意图。
1.2主要模块功能设计
本文研究的数据整合系统主要由查询解析模块、查询分解模块、查询调度模块、元数据管理模块、数据库访问模块、异构数据处理模块组成,具体模块功能设计如下所示:(1)查询解析模块。负责满足用户的查询请求,具体应用中查询解析模块将负责严重文档合法性,最终的解析结果则会自动发送至查询分解模块。(2)查询分解模块。负责数据源子查询请求,请求主要源于查询请求构造针、数据源局部模式。(3)查询调度模块。负责协调各模块工作,由于本文研究的数据整合系统为分布式系统,查询调度模块直接关系能够为用户服务提供的效率。(4)元数据管理模块。负责数据源相关信息的注册、管理、组织,需使用XML Schema完成自身工作,该模块采用映射机制建立数据源局部模式,数据整合系统可能面临的数据源结构冲突由此得以顺利屏蔽。(5)数据库访问模块。负责对上层数据访问服务,服务提供需使用数据源局部模式,异构数据源间数据类型、本地SQL语言等异构性将通过数据库访问模块顺较好屏蔽。(6)异构数据处理模块。负责构造XML形式同质数据,同时能够有效处理异质数据(数据访问层提交)。
2.基于计算机软件数据整合虚拟数据库体系的关键技术
2.1数据集元数据全局模式
数据集元数据全局模式主要用于描述数据集本身基本信息,主要包括创建者、摘要、来源、主题等,其XML Schema结构主要用于attributes、DBSource两部分组成,其中DBSource中包括ID、SrvTitle、DBUser、DBPin、DBDriver、DBsysteam等。事实上,XML Schema结构中的DBSet可拥有多个DBSource子节点,而刚刚提到的DBSource组成则属于系统统一数据集连接接口存储参数,该参数直接关系着数据整合系统的“即插即用”特性。
2.2主题知识元数据全局模式
主题知识元数据全局模式主要用于描述某一主题知识的全部信息,该描述直接关系着主题知识间的区分,其中主题知识元数据实质上属于用户数据源数据(大量数据源)的概况和总结,因此主题知识元数据全局模式必须拥有全面性、可扩展性、覆盖性才能够真正满足元数据的标准化需要。主题知识元数据全局模式的XML Schema文档结构主要由attributes、table两部分组成,其中attributes内部包含sourceID、sourceName,而table则为必选元素且能够重复著录。为赋予主题知识元数据全局模式良好的扩展性,需利用“any”元素(XML Schema语言)替代特性实现。值得注意的是,为赋予主题知识元数据结构扩展、主题知识更换能力,采用了“ ”作为引用语句[2]。
2.3局部模式中元数据获取
数据集元数据、主题知识元数据属于每个数据集局部元数据的必要构成,其中数据集元数据负责连接信息,而主题知识元数据则属于数据集数据结构信息,因此数据集元数据获取、知识元数据获取的实现必须得到关注,二者均需要通过Java实现,如:“String tab Name = clrs.get String(3);//获取表名”。
2.4 wrapper(数据源包装器)
为赋予数据整合系统处理异构数据能力,采用了wrapper实现透明访问,通过屏蔽底层数据访问细节,wrapper的应用将更好实现数据整合系统“即插即用”特性,根据数据源类型分类属于这一特性实现的关键。具体实现中,异构数据处理模块负责结果处理,wrapper则负责向下单向处理,通过判断已知类型、未知类型,即可最大化发挥wrapper作用。
结论:综上所述,基于计算机软件数据整合虚拟数据库体系研究具备较高现实意义。而在此基础上,本文涉及的数據集元数据全局模式、局部模式中元数据获取等内容,则证明了研究的实践价值。因此,在计算机软件数据整合虚拟数据库体系相关的理论研究和实践探索中,本文内容能够发挥一定参考作用。
参考文献
[1]马小微.数据整合在宏观经济监测预测系统中的实现[J].商业经济研究,2016(13):170-171.
[2]陈敏,周江波,高晖.大型数据资源的整合共享与利用研究[J].电子政务,2013(03):110-116.
作者简介
王德琦(1986—),男,汉族,籍贯:吉林省,单位:桂林长海发展有限责任公司,职称:中级系统集成师。
(作者单位:桂林长海发展有限责任公司)
关键词:虚拟数据库;计算机软件数据;数据整合
前言:随着计算机、智能手机逐渐成为我国民众标配,近年来我国软件技术领域实现了较为长足的进步,但由此形成的一个个分散、封闭、异构的信息孤岛却对信息资源共享水平的提升带来了较为负面影响,而为了尽可能消除这种负面影响,正是本文围绕基于计算机软件数据整合虚拟数据库体系开展具体研究的原因所在。
1.数据整合系统设计思路
1.1整体设计思路
为实现基于计算机软件数据整合的虚拟数据库体系,研究选择了VDB(virtual database)虚拟数据库用于建设数据整合系统,该系统主要由于分散数据源的数据收集集成,并同时实现异质数据向同质数据的转化,而为了真正实现整合数据的有效利用,数据整合系统还需要留有统一、简单的关系数据库接口。对比VDB虚拟数据库与数据整合的特征不难发现,二者均拥有大量不同数据源且数据源的构成较为复杂,这类特征的出现使得二者具备结合的前提[1]。
因此,数据整合系统的数据集全局模型、主题知识全局模型采用了XML Schema创建,数据服务数据集则应用VDB虚拟数据库机理设计,数据源选择为关系数据库集,XML文档则用来存储异构数据源的元数据,由此即可形成数据库的数据字典,同时采用了包装不同类型数据源特性,赋予数据整合系统可扩展性和“即插即用”特性,同时应用的屏蔽异构数据源数据结构异构性手段进一步为系统功用提升提供了支持,图1为数据整合系统结构设计示意图。
1.2主要模块功能设计
本文研究的数据整合系统主要由查询解析模块、查询分解模块、查询调度模块、元数据管理模块、数据库访问模块、异构数据处理模块组成,具体模块功能设计如下所示:(1)查询解析模块。负责满足用户的查询请求,具体应用中查询解析模块将负责严重文档合法性,最终的解析结果则会自动发送至查询分解模块。(2)查询分解模块。负责数据源子查询请求,请求主要源于查询请求构造针、数据源局部模式。(3)查询调度模块。负责协调各模块工作,由于本文研究的数据整合系统为分布式系统,查询调度模块直接关系能够为用户服务提供的效率。(4)元数据管理模块。负责数据源相关信息的注册、管理、组织,需使用XML Schema完成自身工作,该模块采用映射机制建立数据源局部模式,数据整合系统可能面临的数据源结构冲突由此得以顺利屏蔽。(5)数据库访问模块。负责对上层数据访问服务,服务提供需使用数据源局部模式,异构数据源间数据类型、本地SQL语言等异构性将通过数据库访问模块顺较好屏蔽。(6)异构数据处理模块。负责构造XML形式同质数据,同时能够有效处理异质数据(数据访问层提交)。
2.基于计算机软件数据整合虚拟数据库体系的关键技术
2.1数据集元数据全局模式
数据集元数据全局模式主要用于描述数据集本身基本信息,主要包括创建者、摘要、来源、主题等,其XML Schema结构主要用于attributes、DBSource两部分组成,其中DBSource中包括ID、SrvTitle、DBUser、DBPin、DBDriver、DBsysteam等。事实上,XML Schema结构中的DBSet可拥有多个DBSource子节点,而刚刚提到的DBSource组成则属于系统统一数据集连接接口存储参数,该参数直接关系着数据整合系统的“即插即用”特性。
2.2主题知识元数据全局模式
主题知识元数据全局模式主要用于描述某一主题知识的全部信息,该描述直接关系着主题知识间的区分,其中主题知识元数据实质上属于用户数据源数据(大量数据源)的概况和总结,因此主题知识元数据全局模式必须拥有全面性、可扩展性、覆盖性才能够真正满足元数据的标准化需要。主题知识元数据全局模式的XML Schema文档结构主要由attributes、table两部分组成,其中attributes内部包含sourceID、sourceName,而table则为必选元素且能够重复著录。为赋予主题知识元数据全局模式良好的扩展性,需利用“any”元素(XML Schema语言)替代特性实现。值得注意的是,为赋予主题知识元数据结构扩展、主题知识更换能力,采用了“
2.3局部模式中元数据获取
数据集元数据、主题知识元数据属于每个数据集局部元数据的必要构成,其中数据集元数据负责连接信息,而主题知识元数据则属于数据集数据结构信息,因此数据集元数据获取、知识元数据获取的实现必须得到关注,二者均需要通过Java实现,如:“String tab Name = clrs.get String(3);//获取表名”。
2.4 wrapper(数据源包装器)
为赋予数据整合系统处理异构数据能力,采用了wrapper实现透明访问,通过屏蔽底层数据访问细节,wrapper的应用将更好实现数据整合系统“即插即用”特性,根据数据源类型分类属于这一特性实现的关键。具体实现中,异构数据处理模块负责结果处理,wrapper则负责向下单向处理,通过判断已知类型、未知类型,即可最大化发挥wrapper作用。
结论:综上所述,基于计算机软件数据整合虚拟数据库体系研究具备较高现实意义。而在此基础上,本文涉及的数據集元数据全局模式、局部模式中元数据获取等内容,则证明了研究的实践价值。因此,在计算机软件数据整合虚拟数据库体系相关的理论研究和实践探索中,本文内容能够发挥一定参考作用。
参考文献
[1]马小微.数据整合在宏观经济监测预测系统中的实现[J].商业经济研究,2016(13):170-171.
[2]陈敏,周江波,高晖.大型数据资源的整合共享与利用研究[J].电子政务,2013(03):110-116.
作者简介
王德琦(1986—),男,汉族,籍贯:吉林省,单位:桂林长海发展有限责任公司,职称:中级系统集成师。
(作者单位:桂林长海发展有限责任公司)