分布式大数据多函数依赖冲突检测

来源 :计算机学报 | 被引量 : 0次 | 上传用户:lezhe14790511
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系数据库数据质量的一个主要问题是存在数据不一致现象.为找出不一致数据,需要进行函数依赖冲突检测.集中式数据库中可以通过SQL技术检测不一致情况,而分布式环境下的函数依赖冲突检测更富有挑战性,特别是大数据背景下,这个问题尤为突出.分布式环境下的函数依赖冲突检测通常需要进行数据迁移,而且不同的数据迁移方法会对检测效率产生一定的影响.该文提出了一种基于等价类的分布式环境多个函数依赖冲突检测的方法,给出了冲突检测的响应时间代价模型.由于分布式环境函数依赖冲突检测问题的任务分配问题为NP-难问题,多项式时间内难以得到最优解,该文将不一致性检测响应时间最小化问题转化为整数规划问题,并给出了近似最优解.针对集群规模和函数依赖个数大小不同的情况,分别给出了不同的任务分配策略,并在检测过程中实现了动态负载均衡,有效提高了负载均衡度和检测效率.在真实和人工数据集上的实验表明,相对于集中式检测方法以及基于Hadoop的naive方法,该文提出的多函数依赖冲突检测方法检测效率有明显的提升,且在数据规模、节点个数和函数依赖个数等方面扩展性能良好.
其他文献
<正>无论从世界范围还是当代中国来看,教育改革都是我们这个时代的重要特征。纷繁复杂的教育改革背后,本质上是教育制度的变迁。教育制度变迁的路向则取决于改革是否选择了合
《古老的歌》是一首艺术歌曲。文章站在歌唱时所体验到的律动美角度,从歌词、旋律两个方面入手,分析、揭示歌曲所蕴含的意境美。
以莱芜市钢城区小上峪石灰岩矿为例,分析了莱芜区域奥陶系马家沟组北庵庄段石灰岩矿床的地质特性及各矿层的分布情况。小上峪石灰岩矿区使用分爆、分采、分装、分运的采矿工
通过分析科学数据共享工程建设中存在的问题,提出搞好共享管理的对策,以及科学数据共享工程是一项长期的系统工程,需要全社会的联合推动和长期努力。
探讨了UG NX软件在《工程制图》课程教学中的应用,提出了基于UG NX三维设计软件的《工程制图》教学模式,弥补了传统工程制图教学方法的一些不足之处。
大学英语教学始终没能摆脱在急功近利的心态驱动下,教师枯燥讲解、学生死记硬背的旧有模式。这种模式缺少一个维度,那就是审美。因此,要在大学英语教学过程中渗透审美意识具有重
语言是声乐的重要组成部分。优美的声音只有与语言准确的结合,才能生动而形象地体现出曲情词意,使听众产生共鸣。离开了语言,就不能准确地表达歌曲的意境。歌唱的语言在声乐
沿海地区具有潮湿度大、含盐成分高、金属易腐蚀的特点。聚脲喷涂防腐蚀技术,是一种新型无溶剂、无污染,并专门采用机械喷涂成型的绿色施工技术,对于沿海地区的金属面防腐蚀
对香港行政法的观察与思考杨海坤笔者最近在香港进行学术访问,虽时间不长,但对香港经济和社会管理方面的成功有较深的印象。从考察和研究中发现,香港之所以在经济和社会管理方面
教学评比活动如何突出"研究"价值,让参与者尤其是听课教师满载而归,真正撼动日常教学?浙江省教育厅教研室举办的第十届小学数学课堂教学评比活动给人以启示。此次活动采用"同