大规模集群上基于预散列的连接处理和优化

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:abcdef13333
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代应用中数据规模的迅速增长,以及复杂处理要求的出现,传统的集中式和分布式数据处理技术已经不能满足需要;而大规模集群由于具有可伸缩性、高可用性、容错性的优势,逐渐为数据密集型应用所广泛使用.这里针对大规模集群上数据连接(join)操作的效率问题:1)分析了基于Map/Reduce框架的连接操作实现的效率瓶颈;2)提出了一种采用预散列(hash)的连接操作实现技术;3)研究了针对星型连接的优化技术.代价模型分析与实验显示,此处提出的方法能够有效提高连接操作的效率.
其他文献
以苍山土壤作为筛选对象,分离出高效絮凝剂产生菌CS-26.对培养基的组成及培养条件的优化试验表明:菌CS-26在培养基为:淀粉2.0%,KH2PO42.0%,蛋白胨0.1%,CaCl20.05%,MgSO4·7H2
陶瓷过滤机集机电、自动报警、自动控制、超声波清洗等一体,自动化程度高、运行成本低,是一种高效节能环保型的固液分离设备.但在选矿拜耳法氧化铝生产运行中,由于各种原因,
核算和监督是会计的两大基本职能,因此,无论是核算还是监督的对象都是我们所说的会计信息.近几年来,房地产行业发展火爆,但也引来无数的争议,其中之一就是其会计信息的不真实
淮南-皖南-浙北-沪西是我国即将建设的1000 kV特高压交流同塔双回输电线路,由于电压等级的提高,对线路的操作过电压绝缘水平就提出了更高的要求.针对此问题,使用电磁暂态程序
以斑马鱼和孔雀鱼为实验动物,进行了Cu2+、Cd2+、Zn2+ 和Cr6+的鱼类急性毒性试验.结果表明,这四种金属离子对受试鱼的毒性影响比较明显, 对斑马鱼、孔雀鱼96 h半致死浓度分别
自行设计、委托加工了几组不同形状、不同尺寸的纺丝模口,生产出相应的纤维,并用该纤维与PE-起,制备相应的复合材料,研究了纤维对其增强复合材料性能的影响.结果表明:无论是
2009年,中国四川腾中重工与美国通用汽车公司,达成收购悍马汽车品牌的协议,因为各种原因,2010年2月,此项交易失败。从腾中收购悍马品牌看中国经济,说明中国经济在飞速发展,特
采用不同工艺参数进行了定向凝固钻基高温合金DZ40M的过渡液相扩散焊(TLP-DB)试验,通过金相显微镜、扫描电镜和能谱分析仪进行了接头微观组织观察、典型物相成分测试;测试了接
对现有最大序列模式挖掘算法候选序列模式过多以及可扩展性差的缺点,提出了一种基于序列匹配的最大序列模式挖掘算法CSMS(compare sequence finding maximal sequential patt
针对现有时间同步协议在能耗和通信负载方面存在的不足,提出了一种周期同步和自动校准相结合的时间同步算法SLTS.该算法的周期同步采用预告消息机制来实现,而自动校准则是在