面向语义描述与数据查询的大数据组织方法及其关键应用技术研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:mrchangmeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据、物联网等技术的普及和深入发展促使数据不仅在体量上急剧膨胀,数据的种类和格式也在快速增加。各种数据由于在模式以及操作方式上的不同而形成众多独立的数据种群,不同类型的数据无法统一查询和处理,阻碍了数据之间的互通。这不仅使得各种数据的统一高效使用成为一件很困难的事,也为如何从这些海量数据中充分挖掘出有价值的信息带来了极大的挑战。而使用传统的方式存储和操作这些异构数据已经越来越难以满足当前应用需求,例如NoSQL等大数据模型往往没有固定的模式,数据结构经常处于动态变化之中,是与传统数据进行融合的最主要障碍。目前关于大数据与传统数据模型进行模式集成的研究仍然不够充分,且大数据的语义描述等问题也尚缺少全面的研究。因此,需要一种统一、高效且足够灵活的方式来描述各类异构数据,且能够表达数据内部以及异构数据之间的语义,实现数据内在价值的挖掘和潜在知识的发现。
  本文在充分比较、分析各种异构数据集成公共模型的基础上,吸纳了相关主要模型的特点和优势,提出了一种面向概念与关系的公共数据模型GDM(即格数据模型,GridDataModel)。GDM模型在关系、段、节等定义的基础上实现了一种新的数据模式定义和结构组织的方式,能够统一描述各种数据结构和语义关系。文中同时给出了GDM模型的形式化标准定义。
  为了深入说明GDM模型的语义描述和逻辑推理能力,本文在GDM基本概念的基础上描述了GDM模型的语义推理和领域知识演化原理,并以SHOIQ(D)描述逻辑为例,描述了如何通过GDM语法子集建立与描述逻辑的映射关系,以及如何利用GDM模型构建基于描述逻辑的本体知识库,并对GDM模型的相关推理问题进行了理论证明。
  本文接着研究了数据集成过程中数据结构异构的问题。为了实现各种传统数据模型与大数据模型的集成,本文利用GDM模型基于关系的数据结构描述机制,从形式化理论角度研究了各种数据模型向GDM进行模式转换的原理,包括结构化的关系模型、半结构化的XML和多种非结构化的NoSQL数据数据模型。同时还研究了GDM模型能够同时描述有模式数据和无模式数据的混合模式特性以及进行动态修改数据的能力。
  本文然后基于虚模式定义了GDM模型代数以及查询语言GDMSQL的语法,并阐述了GDM数据查询过程和查询优化基本原则。以上GDM模型数据管理方案提供了格数据查询和操作的基本方法,是进行基于GDM模型的异构数据集成的必要前提。
  基于以上模型定义、相关理论和查询操作语言,本文研究了分布式环境下异构数据集成过程中的查询、处理和优化等若干方面,解决了查询变量关联、查询分解与查询计划生成、查询处理过程的并行调度等相关问题。同时,为了降低异构数据查询处理的时间成本,本文还提出了几种基于最小调度连通图的查询优化方案,通过模拟实验比较了各种优化策略的性能,验证了查询优化方法的有效性。
  为了进一步说明GDM模型的优秀特性和数据集成时的效率优势,本文还从各方面比较了GDM及几种基本数据模型的相关特性,并重点与OWL模型进行了深入对比。同时,还基于本文提出的效率评估模型,从时间和空间两个角度比较分析了各模型进行数据创建、修改、删除等操作时的时间与空间效率。结果表明,GDM在数据集成时其时间和空间效率相对于所比较模型总体来讲是最优的,非常适合异构数据集成。
  最后,本文设计了基于GDM模型的异构数据集成系统,介绍了系统的设计框架和实施过程,展示了系统的运行情况,验证了本文所提出的相关理论的可行性和有效性,显示了GDM模型能够比较出色地胜任分布式异构环境下的数据集成和知识发现。
其他文献
类比推理是学习数学的一种重要方式,将类比法应用于小学数学课堂教学,有助于学生对所学知识进行归纳总结,继而开展新知识的学习。通过类比推理,让学生掌握数学知识的来龙去脉,培养学生的数学思维能力和知识迁移能力。
电视剧等影视形式在教育教学上发挥的作用是不可否认的,但是将影视艺术与教学相结合的策略仍然存在着众多的问题。本文将从教学功能、问题以及解决策略三方面,来浅析历史题材电视剧的教育教学功能。一、历史题材电视剧的教学功能根据重大历史事件、著名历史人物的丰功伟绩改编而成的电视剧,成为中国主流文化的一种传播方式,在弘扬爱国主义情感,提高整个民族的认同感上有着极大的社会价值。因此
南宋庆元府城叠压在今宁波市核心城区下,在市区零星的考古工作中常见相关遗存。结合南宋志书的记述,本文对南宋庆元府城城池、交通水网、厢坊、主要建筑场所进行了梳理,推论其布局的基本概况并将部分对象复原到实测图上,最后初步探讨和归纳了南宋庆元府城的布局特征和规律。通过复原,发现南宋庆元府城两重城池和四厢的规格符合唐宋时期中型州府城市的规制,城内交通水网受到江南水乡地形水势的影响,曲折的街道与不对称辟设的城
分类号密级UDC编号^fA4硕士学位论文鄂州希初故中学体賁教师姓续教首现状调去与分析学位申请人姓名:_熊车球申请学位学生类别:全日制碩士申请学位学科专业:学科教学f体育)指导教师姓名:I成立教提硕士学位论文MASTERSTHESIS硕士学位?
学位
城市更新是一个利益重分配的过程,而政府、开发商和业主是涉及其中的主要利益群体。城市更新中的利益分配问题也同样适用于城中村的更新,而其业主往往是原村民。而且在城中村更新中,由于政府和开发商大多从城市空间的交换价值入手,易忽视居民对空间的实际使用价值与合理诉求,再加上缺乏相关的保护政策,绝大多数居民的利益可能会受损,甚至给城市带来其他方面的负面影响,如大量居民需要重新寻找住处、儿童需要解决教育问题、商
我国现役超临界及超超临界燃煤电厂完成“超低排放”改造后频发锅炉炉内水冷壁高温腐蚀现象,严重危害燃煤电厂的平稳、安全运行,高温腐蚀是燃煤电厂当下需重点解决的工程难题。本文从高温腐蚀机理及数值模拟研究出发,对燃煤电厂高温腐蚀贴壁风改造的数值模拟及工程应用进行了分析及总结,研究发现:高温腐蚀易发生在低O_(2)、高CO、H_(2)S等还原性气氛中;采用低NO_(x)分级燃
在企业进行数字化转型已成必然趋势的背景下,企业员工需要具备数字化思维和相关数字化应用能力。在此基础上数字化应用人才培训的需求日益增加。本文通过对数字化应用人才的内涵及要求进行分析,并结合目前对数字化应用人才培训的种种问题,提出了以政府、企业、高校为主体,以行业和智库研究成果作为引领,以优质师资队伍和教学内容研发团队为支撑,包含内容选择、组织实施、考核评价三大环节的数
作品名称:《Initial》设计师:鲍艺伟指导教师:袁斐服装通过不对称拼接、压褶、面料的二次设计等手法打破二维约束,将东西方传统建筑元素与前卫的解构主义结合,弥漫着先锋精神。系列服装设计以无色世界三原色黑白灰为主,将黑色的包容、白色的纯净、灰色的中庸相融合,阐释中国传统儒家思想,通过黑白灰的对比与不同面料的选取,使系列服装在空间上具有层次性与流动性,代表着过去与未来
小学科学是一门实践性较强的学科,对学生实践操作提出较高的要求。在教学中,教师不仅要加强理论知识的教学,还要通过科学情境创设师生多元互动生活经验链接等举措,让学生在做中思,在思中做,以做与思的有效联通,实现知识拓展、迁移与应用,不断提升学生科学课程的核心素养。
学习投入是指学生在学习活动过程中表现出的一种持续的、充满积极情感的状态。它是影响学生学习的一个重要情感因素,是衡量高中生学习情况、心理素质的重要指标。高中生学习投入的提升有利于学生自身的成长与发展。未来时间洞察力是一个人对自身未来发展和社会发展的认识、情感和行为倾向。学业自我效能感则是个体对自己学习能力或技能的评价,是个体控制自己学习行为和学习成绩能力的主观判断。本