Hadoop平台下基于截止时间限制的动态调度算法的研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:xiaogang7922
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法(DCDS)。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。
其他文献
一、为统一职工自立市场的标识,凡经有关部门批准组建的以安置再就业人员为主的集贸市场,经市劳动局审核安置再就业人员比例达到70%以上(含70%)的,从开业之日起,统一由北京市劳动局、
“会仙居”是以炒肝闻名于京城内外的老字号。“会仙居”创业于清同治元年(1862年),老店位于前门外大街鲜鱼口内路南。“会仙居”的炒肝选料精细,首先是猪肥肠要新鲜,其次是泡洗,用
现有的网络编码广播重传算法都没有考虑对长度不等的数据分组进行编码重传时的编码效率及相应的编码算法优化问题。为此,针对性地提出一种基于非对称网络编码的无线多媒体广播
在协作认知网络中,针对次用户作为转发中继时主用户信息容易被窃听的问题,提出了一种基于功率分配的安全波束成形设计方法。根据任意转发波束成形功率占比,以次用户的传输速
好的企业名称就是一则最有效最持久的广告,对企业良好形象的树立和产品推广活动的成功,其有重要意义,那么──时下新公司新企业如雨后春笋般不断涌现,但企业名称五花八门,一些明显
《消费者权益保护法》(以下简称〈消法》第四十九条规定:“经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的全额为消费者购买商品的价
北京兴民食品有限责任公司,是通县宋庄镇小堡村的私营企业。它的前身不过是个个体户。早在1979年,农民刘兴民一家就因养殖120只鸡而在当地“小有名气”。为此,村里推选他任主管
国家体改委副主任张皓若在全国体改工作会议上谈1997年深化改革的诸项重点时强调,加快现代企业制度试点工作,力争在解决重点、难点问题上有较大突破,城市综合配套改革试点重点要
对于分布不同或分布相似的未知类型的网络攻击,目前的异常检测技术往往不能达到预期的效果。针对上述问题,研究了一种基于迁移技术和D-S证据理论的网络异常检测方法。首先用迁移学习方法对已知网络攻击进行建模,此模型在构建时考虑了不同分布的异常攻击间的差异;然后用其训练得到的分类器对未知的网络行为进行分析,结合D-S证据理论,可以检测出分布不一致的未知攻击类型。实验结果表明,该方法泛化了传统的网络异常检测技
针对基本引力搜索算法搜索速度慢和容易出现早熟的缺点,提出了一种基于信息熵的混合引力搜索算法。受粒子群算法的启发,所提算法通过改进基本引力搜索算法的速度和位置更新式