论文部分内容阅读
针对Hive在处理连接查询时所存在的执行时间长和带宽资源消耗大等问题，提出了一种基于数据预处理和双半连接的SDD-1改进算法．首先，引入预处理技术，在各分布节点对原始数据进行归并排序，以减少汇聚节点的数据映射次数，加快数据处理执行速度；其次，采用基于行和列的双半连接技术，进一步缩减在不同节点间的数据传输量，减少带宽资源消耗．仿真实验表明，相比原始的Hive连接算法，改进算法在元组数达到5000和8000时，可使查询速度提升10％，有效缩短查询的处理和响应时间，该改进算法可方便地应用到其他云计算平台上．