【摘 要】
：
在Hadoop框架下计算资源和数据资源可以在不同物理位置的特点产生本地化问题。延迟调度算法的产生旨在解决本地化问题,此算法根据任务待处理数据的物理位置作为作业的计算节点,调度任务至目标节点。但是可能出现同一作业中若干任务集中运行在某一计算节点,导致作业达不到理想的并行效果。针对原有的延迟调度算法,提出延迟一容量调度算法,允许部分任务选择非本地化节点作为原延迟调度算法中任务的目标计算节点,以提高作业
【机 构】
：
南京航空航天大学计算机科学与技术学院
论文部分内容阅读
在Hadoop框架下计算资源和数据资源可以在不同物理位置的特点产生本地化问题。延迟调度算法的产生旨在解决本地化问题,此算法根据任务待处理数据的物理位置作为作业的计算节点,调度任务至目标节点。但是可能出现同一作业中若干任务集中运行在某一计算节点,导致作业达不到理想的并行效果。针对原有的延迟调度算法,提出延迟一容量调度算法,允许部分任务选择非本地化节点作为原延迟调度算法中任务的目标计算节点,以提高作业的响应时间与增加作业的并行程度。最后通过实验对比分析,改进后的算法在执行效率和并行效果明显优于原延迟调度算法。
其他文献
在基于图像差分的行人检测算法中,光照的变化对提取图片中的行人干扰非常大,一般的自适应背景更新方法很难消除光照快速变化带来的影响。为了解决这一问题,设计了一种基于直方图分布特征相似性的光照变化干扰去除方法,分析了光照干扰前后两幅图片局部区域的直方图分布特征相似性原理,给出了图像直方图分布特征相似性测量方法及评价参数——标准差。通过对光照频繁变化环境下相邻两帧图片进行差分实验,结果表明,该方法能够克服
针对物联网事件云的复杂事件处理面临的海量事件规模、分布式数据处理、上下文相关等挑战,提出一种分布式的上下文敏感复杂事件处理方法。该方法基于模糊本体进行事件上下文的表示和推理,通过查询重写支持事件上下文处理,并基于查询规划和数据划分进行分布式处理与启发式优化。实验结果表明,该方法能够处理模糊事件上下文,对于大规模物联网事件云上下文敏感复杂事件的处理具有比一般方法更好的性能和可伸缩性。
针对基于源IP会话保持的IPVS在高速代理上网环境中存在的会话失效和负载不均衡问题,研究了LVS系统的设计原理与实现方法,并结合Web应用中cookie会话保持机制,提出了基于cookie会话保持的改进方案。实验结果表明,改进的基于cookie会话保持的IPVS负载均衡集群系统能有效地解决高速代理上网环境中存在的会话失效和负载不均衡的问题,同时在相同的并发用户量的情况下响应时间更短、吞吐率更高,特
针对周期控制系统的时序一致性进行研究,提出基于SPARDL(space aircraft description language)的模型和程序一致性测试方法,通过模型抽取获取模式迁移图和控制流程图,通过程序插桩获取程序执行路径,实现了自动检测周期控制系统中的模式迁移和模块调用的一致性,给出了基于模式迁移图和控制流程图的覆盖检测并用于指导程序测试用例的生成。结合具体的周期控制系统,验证了一致性测试
为了保证产品族零件工时定额制定的通用性和高效性,提出了以零件制造特征作为工时载体的工时定额制定新方法。该方法通过建立零件的制造特征模型,研究了基于零件制造特征的零件相似性判定,根据零件相似性判定划分了零件组,对每个零件组内所有零件的工时及其影响因素进行了描述,并构建了零件组相应的工时描述平台。通过神经网络技术的运用建立了零件的工时神经网络模型,并结合MATLAB软件对零件工时进行了估算,实现了产品
为了使钢铁企业铁矿石供应与均衡生产匹配,在分析库存均衡性及码头能力需求均衡性约束的基础上,构建了基于均衡性约束的运输—分配模型。引入了一种通过位置越界处理、位置更新因子和全局最优位置未更新计数器的改进模拟退火粒子群优化算法。仿真实例表明,该优化策略在保持较高全局搜索速度的前提下,增强了全局寻优能力,提高了收敛精度,算法稳定性得到了显著改善。采用该粒子群算法应用于运输—分配模型的综合优化实例中验证了
随着电子商务和社交网络的蓬勃发展,推荐系统逐渐成为数据挖掘领域的重要研究方向。推荐系统能够从海量信息中定位用户兴趣点,提供个性化服务。协同过滤算法能够有效分析用户偏好,提供合适的推荐服务。针对评分矩阵稀疏时传统协同过滤算法性能很差的问题,提出一种基于Sigmoid函数的改进推荐系统算法。利用Sigmoid函数对不同项目进行建模,得到项目的平均受欢迎程度;利用Sigmoid函数对不同用户进行建模,将
在研究人工萤火虫算法的基础上,提出了一种改进型的人工萤火虫算法。该算法通过对荧光素值获取方式的改进、能够有效地防止收敛过快、目标函数值极易陷入局部最优的情况,通过三个函数的仿真测试中,在搜索精度和性能上有了显著的提高。通过Cloudsim仿真平台发现,在云计算模型下,该算法可以有效地减少子任务的处理请求任务的平均完成时间,提高了任务处理的效率,达到了资源的合理分配。
为了减少老年人因跌倒而造成的伤害,及时有效地识别跌倒行为,提出了一种基于三轴加速度传感器的人体跌倒识别方法。首先将加速度传感器放置于人体腰腹位置,采集人在运动时的加速度变化数据;然后使用日常活动数据训练隐马尔科夫模型(HMM),利用老年人活动状态相对较少的特点,从测量数据与HMM的匹配程度寻找"疑似"跌倒行为;最后计算短暂时间内的身体倾角,检测人体躺卧姿态,完成跌倒识别。利用HMM和身体倾角识别跌
利用PSO算法在空间上能快速搜索和寻优的特点,在MATLAB 7.0环境下利用改进的粒子群算法从N×M个栅格空间中确定K个目标栅格的位置,使得目标点距离南河、南山及瓷土矿的平均距离是最小的K个,然后结合这K个目标栅格自身土地适宜性条件及邻域土地利用情况来判定该目标栅格是否能演变为窑址。通过此模型模拟了五代至北宋这段历史时期景德镇南河流域窑址景观的演变过程,并对比分析了不同K值和概率阈值下的模拟情况