【摘 要】
：
Hadoop是一个用于以高效的方式处理大数据的框架.任务调度是Hadoop框架的核心问题之一,其默认的调度器不能根据节点及作业资源的异构性进行任务分配.针对该问题,本文提出一种异构环境下基于作业及资源分配的调度算法.该算法可根据估计作业到达率和平均作业的执行时间将作业分类,找到与该类作业匹配的资源,优先将本地任务分配给节点,并将非本地任务公平地分配给每个节点进行计算.实验结果表明,与原有的调度算法相比,改进后的算法平均任务执行时间减少34 s,减少数据的跨节点传输,提升了任务执行效率,提高了资源利用率.
【机 构】
：
闽南师范大学计算机学院,福建省粒计算及其应用重点实验室
论文部分内容阅读
Hadoop是一个用于以高效的方式处理大数据的框架.任务调度是Hadoop框架的核心问题之一,其默认的调度器不能根据节点及作业资源的异构性进行任务分配.针对该问题,本文提出一种异构环境下基于作业及资源分配的调度算法.该算法可根据估计作业到达率和平均作业的执行时间将作业分类,找到与该类作业匹配的资源,优先将本地任务分配给节点,并将非本地任务公平地分配给每个节点进行计算.实验结果表明,与原有的调度算法相比,改进后的算法平均任务执行时间减少34 s,减少数据的跨节点传输,提升了任务执行效率,提高了资源利用率.
其他文献
工业革命初期,随着社会生产力的爆炸式增长,人们探索世界和改造世界的能力空前增强.较早完成工业化的西欧国家,通过坚船利炮建立起全球殖民体系和贸易网络,积累起巨量的社会财富.社会财富的增加激发了更多的“精神需求”.
运用高温固相法合成Zr1-xSiO4∶xYb2+蓝绿色长余辉发光材料,对材料进行X-射线粉末衍射(XRD)、荧光、热释、余辉衰减等结构及发光性能进行测定.材料在400~560 nm有一个很宽的发射峰,主峰位于480 nm处,归属于Yb2+和Zr4+共同贡献,而516 nm肩峰由Yb2+及材料中的Si-O缺陷所贡献. Yb元素既作为发光中心又作为缺陷提供者. Yb掺杂能有效提高
激光雷达针对自动驾驶、环境建模和三维成像等有着重要的应用,设计了基于激光雷达的数据处理系统,该系统包含了对激光雷达数据的高速采集与传输、解析、存储和显示等.系统采用Visual C++2015平台基于MFC库实现了数据的高速采集与传输、解析、存储,并结合OpenGL库实现了点云数据的显示.激光雷达对环境扫描的数据量较大,如何快速准确可靠的读取数据并存储、显示是其难点.激光雷达的数据处理系统对后续研究自动驾驶、环境建模和三维成像等有着重要的意义.
对于具有相依性的数据,指数加权移动平均(EWMA)方法是控制图领域中的实用方法 .其中,指数加权移动平均均方误差(EWMA MSE)控制图对相依单一值数据的监控性能较好.随着测量技术的发展,往往会监测到相依区间值数据,传统的方法只能将其转化为单一值数据再计算,这样会造成信息丢失.为此,提出指数加权移动平均模糊区间均方误差(EWMA FIMSE)控制图,通过数值模拟和漳州市一氧化碳浓度数据的实证分析,证实它可以比传统的控制图更快地监测到过程的异常波动.
本文通过改良的制备石墨炔方法,制得纳米片层状的石墨炔(GDY),采用扫描电子显微镜、透射电镜、红外光谱和拉曼光谱等手段对其结构进行表征.确定了其具有特定的形貌结构、丰富的sp杂化的炔键和sp2杂化的苯环外延扩展的结构特性,将其作为催化活性物质应用于构筑电化学传感器,采用差分脉冲伏安法(DPV)研究对比了其电化学性能并将其应用于重金属铅离子(Pb2+)的检测.实验结果表明Pb2+在GDY修饰电极上的响应信号更优于裸电极和石墨烯修饰电极,在1μ
研究了具有Allee效应和反馈控制的单种群Logistic模型的动力学行为.首先对此模型边界平衡点的局部稳定性时做了进一步修正,证明了边界平衡点在正平衡点存在时是鞍结点,但正平衡点不存在时却是一个稳定结点.其次证明了正平衡点全局渐近稳定的充分条件以及Hopf分支和极限环的存在性.结论说明Allee效应和反馈控制使得系统变得不稳定,种群密度随着Allee效应的增大而降低直至绝灭.最后用数值模拟证明结论的正确性.
设G=(V,E)为简单连通图.图G的维纳指标W(G)是图中所有不同顶点对间的距离之和.图G的离心率ε(G)是指图中所有顶点的离心率之和,其中顶点的离心率是其到G中其它顶点的最大距离.设G为通过收缩G中一条割边成为一个点并在该点上连接一条新的悬挂边而得到的图.研究了W(G)-ε(G)与W(G)-ε(G)之间的大小关系,给出不同情况下两者之间的大小关系.
当今条件下,信息和知识传播的方式与速度都发生了根本性变化,知识更新周期也越来越短,个性化学习、精致学习和元知识迁移能力等素养核心成分的培养受到了前所未有的重视.本研究在借鉴PISA模式并结合我国基础教育阶段各科课程标准开展多轮学习素养评估研究的基础上,重点讨论了评估中内容效度保证的设计、效标的选择及其计算、构想效度的EFA+CFA方法检验和效度检验的未来趋势等问题.实践表明:上述效度保障策略对提高学习素养评估的可靠性和大众接受度起到了关键作用.
知识空间理论是数学心理学的重要组成部分.简单拟阵是组合优化中的一个重要分支,几何格是拟阵论中的一个重要概念.知识空间理论与简单拟阵之间存在着紧密的联系.首先基于技能映射中技能与问题之间的联系确定知识基,通过知识基来生成简单拟阵的一个闭集族.其次定义了问题与技能的伽罗瓦联络,讨论知识空间的伽罗瓦格与简单拟阵闭集族的几何格之间的关系.随后在伽罗瓦格与几何格同构的意义下,以构造的方式建立起知识空间与简单拟阵的关系.最后得出了知识空间与简单拟阵是一一对应的结论 .
疫情过后,人们对于建设宜居生态的社区空间更为重视,同时国家致力发展绿色生态城市概念,更加注重打造健康的人居环境.在此背景下,我们从社区环境的植物景观设计出发,进一步审视现社区环境中植物景观与人们的密切关系,思考如何在有限的空间里,利用植物作为设计媒介,创设一种更加健康且符合国家发展理念的社区生活环境,从而帮助人们提升幸福生活指数.