【摘 要】
：
提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的
【机 构】
：
黄河水利职业技术学院 河南开封475004;郑州大学 河南郑州450001
论文部分内容阅读
提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的负载平衡性能,其运行效率也没有因为新采样算法的采用而受到影响。
其他文献
针对Lennard-Jones(LJ)原子簇的结构优化问题,提出一种基于种子的多种群多策略并行PSO(SS-MG-MS-PPSO)。该算法使用种子策略(SS)初始化种群,再将初始化的种群划分为具有不同搜索策略(RDPSO和FC-RDPSO)的子种群独立并行进化,通过发挥不同搜索策略的优势从而找到原子簇的最优结构或近似最优结构。实验结果表明,SS-MG-MS-PPSO对于原子数在2到35之间的原子簇
为了解决传统模板匹配算法在人脸检测中检测率低和速度慢的问题,提出一种新的人脸检测算法(BSICP)。引入最佳相似性作为相似性度量,只考虑匹配图像之间的相似点,减少错误匹配;以尺度迭代最近点算法作为搜索策略代替传统的逐点扫描匹配方法,加快检测速度。实验结果表明,该算法在IMDB-WIKI数据库中的五组变换图像下检测率均能达到97%以上,而且速度保持在0.076 s左右,具有很好的检测效果。
动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法。实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5%。实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好。
传统词嵌入通常将词项的不同上下文编码至同一参数空间,造成词向量未能有效辨别多义词的语义;CNN网络极易关注文本局部特征而忽略文本时序语义,BiGRU网络善于学习文本时序整体语义,造成关键局部特征提取不足。针对上述问题,提出一种基于词性特征的CNN_BiGRU文本分类模型。引入词性特征构建具有词性属性的词性向量;将词性向量与词向量交叉组合形成增强词向量,以改善文本表示;采用CNN网络获取增强词向量的
针对实际应用中要对图片分类并对癌变图进行癌变区域定位的需求,收集天津市口腔医院典型病例,建立口腔细胞病理切片图像数据集,提出基于深度学习的诊断与分割方法。采用以DenseNet为架构的卷积神经网络对图像进行正常与癌变的分类,利用图像分块思想对高分辨率图像分块进行训练,采用迁移学习和数据增强方法减少过拟合问题的发生。分类完成后,使用以DenseNet网络作为编码结构的UNet++分割网络对判断为癌变
为了提升量子粒子群算法(QPSO)的全局收敛性及收敛效率,优化QPSO的全局最优位置计算方法。通过计算粒子当前适应度值与历史最高适应度值的差值占所有粒子适应度差值和的比重,来作为全局最优位置计算中各粒子局部最优位置的权重。粒子的寻优能力越强,其局部最优位置在全局最优位置计算中所占的权重就越高,使得粒子迅速向优秀粒子靠拢。将优化后的QPSO应用于大数据云存储平台的任务调度中。仿真实验表明,优化后的Q
在利用贪心搜索算法求解类别近似质量约简的过程中,类别近似质量的计算是评估属性重要度的重要步骤,需要考虑论域中所有样本的邻域与当前决策类之间的包含关系。为降低求解类别近似质量约简的时间消耗,从局部的视角出发,提出一种用于求解类别近似约简的加速方法。该方法在计算类别近似质量时仅考虑当前决策类中的样本而不是论域中所有的样本,通过减少计算规模以加快约简求解的过程。在8个UCI数据集上的实验结果表明,该方法
提出基于属性为主的三支概念格的合并和基于对象为主的三支概念格的合并,对合并后的三支概念格及经典概念格之间的关系进行研究,对两种方法合并后所得到的三支概念格之间的关系进行探讨,并给出三支概念格合并的算法。通过实例对该理论进行验证。
使用仿射变换网络对遥感图像进行空间变换,批量生成训练图像,将特征提取和匹配放在卷积神经网络的端到端架构中,直接预测仿射变换参数;通过采用校正网络对卷积神经网络的结果进行改进,实现遥感图像更加精确的配准。通过与SIFT算法、SURF算法和其他深度学习方法相比,该方法对遥感图像配准的速度和精度均有显著提升。
针对电影彩色化面临着上色质量和时序稳定性的双重挑战,提出一种带有循环结构的生成对抗网络,可用于电影的自动彩色化,不需要任何参考帧和人工干预。该网络基于经典的条件生成对抗网络:生成器用于生成彩色图像,完成彩色化任务;鉴别器用于鉴别真伪,提升生成器性能。引入循环结构和时序一致性损失,用于整合时序信息,解决上色的稳定性问题。实验结果表明,该方法在保证单帧图像上色的同时,可以有效减少生成的电影序列中的闪烁