数据倾斜相关论文
随着互联网行业的飞速发展,人们需要被记录的互联网行为越来越多,传统的数据存储及处理方式已经无法满足大众的需求。Hadoop、Spar......
随着移动通信技术的发展以及智能手机等移动终端的普及,通信数据呈现指数级的增长。手机用户在打电话、发短信和上网过程中会产生......
随着物联网、移动互联网和云计算等技术的发展和普及,产生的数据呈现“指数级”增长态势。对于某些小型企业或个人用户来说,为了更......
随着大数据的盛行以及分布式计算技术的逐渐成熟,运用分布式技术来进行数据的高效分析已成为了各企业的研究热点。近年来,随着内存......
MapReduce是一种适用于大数据处理的重要并行计算框架。然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会......
随着互联网、云计算以及物联网的快速发展,电子商务、电子政务、社交网络等新应用为人们的日常生活和工作带来极大方便,同时也使数......
随着互联网的发展,数据呈现几何式的增长,如何能够从巨大的数据中快速寻找出对自己有用的数据,将会是大家面临的一个问题。搜索技......
学位
数据倾斜指大数据平台下经常出现的某一个分区数据量远大于其他分区数据量,导致分配不均的情况。如果分配给每个节点的数据不均匀,......
计算机技术的快速发展推动了地理信息空间数据的快速采集、处理与应用。海量空间数据在Web端与移动端得到了广泛应用。基于金字塔......
随着互联网技术的发展,互联网产品日益丰富,用户对互联产品的使用不断增加,所产生的海量数据给行业带来了巨大的机遇与挑战。一方......
硬件技术的不断发展推动了数据处理系统的更新迭代。在计算方面,现代CPU多核、众核技术的成熟让大多数据处理系统选择采用数据分区......
Spark是基于内存的分布式数据处理框架,具备海量数据处理的能力,已成为大数据领域研究的热点。在Spark中的Map和Reduce阶段存在Shu......
随着大数据时代的到来,信息数据急剧膨胀,Hadoop和Spark大数据分析平台提供了一种分而治之的解决方案来处理大量的实时数据。然而,......
大数据及其相关处理技术成为当今计算机科学领域和工业界最重要的技术之一,最为崭新的知识获取范式,商业公司和学术科研组织已经将......
在大数据时代,越来越多的实时应用需要对大规模实时数据流执行快速并且准确的连接运算,例如股票交易系统,在线广告分析系统等。由......
分布式计算平台为高效处理海量数据提供了便利,Spark凭借基于内存计算的优势被广泛应用于大数据研究领域。数据混洗(Shuffle)是Spa......
随着网络技术的不断发展,互联网己经越来越普及,各行各业都受到它的影响,网络用户数目不断攀升,这也使得互联网中所产生的数据朝着......
随着互联网技术的飞速发展与广泛应用,人们进入了大数据时代,对大数据处理分析日益增长的需求促进了相关技术的发展。Google提出的......
云计算技术是一种全新的计算模式,通过互联网实现随时随地、按需、快速获取服务(计算设施服务、存储设施服务、应用程序服务等)。......
针对传统系统在清洗数据时出现速度缓慢,数据分布不均时造成数据倾斜等问题。本文试图设计分布式数据清洗系统,首先使用Hadoop集群......
针对MapReduee计算模型Hash分区策略易引发Reduce阶段输入数据倾斜问题，提出基于Hash虚拟平衡重分区的数据倾斜处理算法HVBR-SH（Hash......
MapReduce作为处理大数据的分布式计算框架,被越来越多地应用在科学研究中.科研数据通常具有高度倾斜性.数据分布的均匀程度很大程......
数据倾斜一直是影响MapReduce性能的关键问题之一．为缓解数据倾斜问题，提出一种基于抽样分区的MapReduce在线负载均衡机制：MR-LSP（MapR......
数据倾斜是海量数据分析与处理中常见场景之一.在数据倾斜场景下,传统MapReduce连接查询算法并不能充分利用Hadoop平台并行计算编......
空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了......
为了提高信任进化(MET)算法在大数据环境下的时效性,提出一种基于Spark的并行MET算法——SparkMET。采用主从式架构,由主节点进行......
MapReduce进行大数据分布式计算时,数据集倾斜特性将导致子任务间完成时间差异明显,影响计算性能。提出基于布隆滤波二次拆分的处......
网络流量数据具有突发性、非线性和时变性等等特点,造成在一些复杂网络流量在时域内存在流量特征分形弱化的趋势,可预测特征出现了......
在Spark 计算平台中,数据倾斜往往导致某些节点承受更大的网络流量和计算压力,给集群的CPU、内存、磁盘和流量带来了巨大的负担,影......
并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销．相对于数据库管理系统而言，分布式数据流管理系统中的在线θ......
连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义.阵列众核处理器是一类重要的众核处理器,......
MapReduce作为一种分布式编程模型,被广泛应用于大规模和高维度数据集的处理中。其采用原始Hash函数划分数据,当数据分布不均匀时,......
MapReduce分布式计算框架有助于提升大规模数据连接查询的效率，但当连接属性分布不均匀时，其简单的散列策略容易导致计算节点间负载......
摘要：针对MapReduce计算框架下实现数据表等值连接时不能很好地处理数据倾斜的问题，详细分析了数据倾斜带来的任务负载不均匀问题和......
混合范围划分方法[1]给出了计算数据分置节点数的公式以及数据划分的方法;加强的混合范围划分方法[2]通过引入可变范围的数据分块,......
摘 要： DNS日志是互联网中重要的访问日志，数量巨大且承载着大量信息，需要借助大数据技术进行处理和分析。现网DNS日志数据量大，且数据......
对Teradata数据仓库的系统架构做简单介绍．尤其是针对影响Teradata性能的底层因素进行必要的分析，并对实践过程中的遇到的常见问题进......
数据分析和处理是大数据处理中最重要的任务,而等值连接又是数据分析中最常用、代价最高的操作之一。在实际的等值连接操作中,存在......
云计算是一种具有高适应性的分布式计算。它的主要目的是将海量数据的计算任务拆分成多个规模较小的子任务,通过深度定制的网络控......
随着互联网爆发式增长,每天互联网都会产生PB数量级的数据,这些数据蕴含了各种非常具有价值的信息。由于计算机硬件发展的技术限制......
Spark下分布式深度信念网络（Distributed Deep Belief Network,DDBN）存在数据倾斜、缺乏细粒度数据置换、无法自动缓存重用度高的数......
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计......
对数据倾斜现象的诱发因素进行了研究,针对分布式数据流的数据倾斜问题提出一种具有实时监控节点负载,及时建立、更新数据迁移路由......
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们......
