基于信息增益的Hadoop瓶颈检测算法

来源 :电信科学 | 被引量 : 0次 | 上传用户:bee4832
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今,Hadoop已经成为了大数据存储和大数据挖掘的主要平台。虽然Hadoop平台通过分布式的机器集群来实现高性能的并行计算,但由于其由廉价主机组成,故当集群负载增大时,便不可避免地在某机器上出现瓶颈。针对此问题,提出一种基于信息增益的瓶颈检测算法,该算法通过计算各个资源的信息增益来检测集群的瓶颈资源。实验证明了该瓶颈检测算法具有可行性。
其他文献
首先介绍了我国经济及制造业面临的挑战,其次详细阐述了两化融合及相关概念的内涵,如智能制造、互联网与工业融合,最后对实施两化融合工作提出建议。
工作流可满足性(WS)研究一定访问控制策略下的资源分配问题,其计数问题有利于判断工作流对资源异常情况的顽健性。本文研究互斥约束下的WS计数问题,通过多项式计数归约为约束可
提出一种基于单图像局部置乱和动态反馈的混沌图像加密算法。首先,提出一种单图像局部置乱算法。其次,在扩散阶段,采用一种基于动态反馈的扩散策略来改变置乱后图像中的像素值,通过动态反馈来改善图像的加密效果。最后,实验结果表明,与3种经典的算法相比,提出的算法大大缩短了加密时间;并且只通过一次加密,其像素变化率和归一化平均变化强度值都可接近99.6%和33.4%,进一步证明了提出的算法具有良好的抵抗差分攻
能耗与覆盖问题是无线传感器网络研究领域的基本问题,也是一个重点问题。针对传感器节点所呈现的同构性特点,提出了一种带有可控动态参数的优化覆盖算法(OCCDP)。该算法首先给出了3节点联合覆盖时,最大无缝覆盖率的求解过程;其次,给出了在监测区域内存在传感器节点覆盖时,覆盖质量期望值求解方法以及与邻居节点进行覆盖比对时覆盖率的判定方法;当存在冗余覆盖时,给出了任意传感器节点处于冗余节点覆盖时的覆盖率的计
以三级建库所使用的ORACLE9I为例,重点介绍ORACLE9I的实时应用集群(Oracle Real Application Cluster,简称RAC)的数据库组件、参数文件配置,对RAC数据库的负载均衡及故障转移作了
临床学习是护生从学校走向工作岗位的过渡时期,培养了学生专业化的思维方式和分析问题解决问题的能力.教学质量的好坏直接影响护生今后的发展,临床护理教师有责任帮助学生在
通过对167例消化系统恶性肿瘤患者进行左锁骨下动脉药盒植入术(PSPI)治疗的护理.我们体会到术前护士应熟悉PSPI相关知识,对患者进行知识宣教与心理护理.术中严格执行无菌技术
为了提升微博话题发现效率以及发现质量问题,提出了一种融入公众情感投入分析的微博话题快速发现与细分方法,促使话题演化,进而产生新话题及其情感变化趋势。首先,基于情感词典和TFDF值在历史语料库中挖掘常用情感词并构建情感词库;其次,快速抽取情感文本,结合Sigmoid函数检测情感投入密集期,保证话题事件挖掘的质量;最后,通过改进的模糊C-均值聚类算法在新的微博数据中发现高质量话题。实验结果表明,本文方
针对工作流服务数的增加过程中最初规划的潜在成本较高以及很多服务组合算法可靠性不足等问题,提出了一种利用备份服务位置和概率服务质量(QoS)模型的服务组合算法。该算法计算