分布式大数据函数依赖发现

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:xdz429
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在关系数据库中,函数依赖发现是一种十分重要的数据库分析技术,在知识发现、数据库语义分析、数据质量评估以及数据库设计等领域有着广泛的应用.现有的函数依赖发现算法主要针对集中式数据,通常仅适用于数据规模比较小的情况.在大数据背景下,分布式环境函数依赖发现更富有挑战性.提出了一种分布式环境下大数据的函数依赖发现算法,其基本思想是首先在各个节点利用本地数据并行进行函数依赖发现,基于以上发现的结果对函数依赖候选集进行剪枝,然后进一步利用函数依赖的左部(left hand side,LHS)的特征,对函数依赖候选集进行分组,针对每一组候选函数依赖并行执行分布式环境发现算法,最终得到所有函数依赖.对不同分组情况下所能检测的候选函数依赖数量进行了分析,在算法的执行过程中,综合考虑了数据迁移量和负载均衡的问题.在真实的大数据集上的实验表明,提出的检测算法在检测效率方面与已有方法相比有明显的提升.
其他文献
胡传海先生曾在《中国艺术报》上这样总结2006年的书法理论状况:“当今书法批评的薄弱和落后,从而导致了书法理论研究”跛脚“状态的出现……应该说这种现象已经存在了很长的
当前互联网正由消费领域向生产领域迅速拓展,为加速提升交通运输产业发展水平,增强行业创新服务能力,适应经济发展新常态注入新的动能和生机。交通运输行业应充分挖掘自身优势,主
<正>一、背景许多教师都有音乐游戏难以掌控,而不愿开展的经历。我曾经看过一节音乐游戏《大象和蚊子》,老师基本上是大吼大叫、连拉带扯地开展活动,幼儿不遵守规则,或者说是
铁勒契艹必 部是我国中世民族史上一个朴朔迷离的部族。其最早以“高车解批部”见于《魏书》记载。北魏太和十一年 ( 487) ,随高车酋长西迁车师前部 (今新疆吐鲁番 )。隋炀帝
针对锚链闪光焊接,以工控机和高精度多功能数据采集卡为核心,采用Mi-crosoft Visual Studio.Net 2003和NI Measurement Studio 7.1为开发平台,设计开发了锚链闪光焊机控制系
本文有别于以往的文献综述,传统的研究以概述主要观点并加以评论为主,本文以日语指示词研究文献列表为基础,对文献的研究对象和研究理论等进行量化分析,考察日语指示词研究的
:第二次世界大战后 ,日本经济获得迅速恢复和发展。在日本经济腾飞中 ,人的因素起了非常重要的作用 ,主要表现为劳动立法调动了劳动者的生产积极性 ;重视教育 ,注重开发人力
本文对2Cr13马氏体不锈钢的焊接工艺特点进行了简要的分析,并通过试验验证焊接工艺的可靠性。同时根据煤气风机叶轮的产品结构,制定了风机叶轮基于2Cr13材料的制作工艺,通过2
随着社会经济的发展、城市化进程的发展,对留守儿童问题的研究一直是学者们关注的热点领域,而政府在留守儿童教育中所扮演的角色直接关系着义务教育的公平与否。纵观政府在教
本文通过多译本对比分析的方法,对日语「(さ)せる」句的多义性及语用特征在汉译过程中的实现策略进行了探讨。其结果认为,「(さ)せる」的翻译,在一般间接用法、因果致使用法