Storm集群环境下的任务调度和资源动态调整算法研究

被引量 : 0次 | 上传用户:fatcatgao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Storm是一种在分布式集群部署运行的大数据流式计算框架,具有开源社区活跃、兼容性良好等优点。流式大数据计算的实时性需求较高,所以任务调度方法和面对突发未知流量变化时的资源动态调整成为了关键问题。Storm框架采用公平轮询的任务调度机制,是一种未综合考虑资源利用率、任务通信代价等方面的简单任务调度方式。流式大数据输入往往伴随着流量洪峰或低谷,面对此种情况,若不及时地进行集群资源动态调整,则将会带来作业难以运转导致的响应时间增加或集群节点空转导致的资源浪费等问题。针对上述问题,本文在流式大数据Storm集群环境下任务调度和资源动态调整算法进行了深入研究,以下为主要研究工作内容:1)提出了 一种多目标离散适应度距离比粒子群算法(MDFDRPSO,缩写为MDFP)与欧式距离负载均衡算法(EDLB)结合获取任务调度方案的方法。首先为了解决流式任务计算集群环境下的任务调度问题,将粒子群算法场景化,即多目标离散化,设计粒子的含义、目标函数等。其次使用适应度距离比的思想提出向邻居学习,同时设计了时变的惯性因子和学习因子用于平衡搜索能力、调节搜索过程,得到一组任务调度较优解集。EDLB算法在解集中根据资源类型三维欧式距离模型决定最终的方案。此算法的结果为最终任务调度方案,既考虑提高资源利用率又能兼顾负载均衡,使任务能合理地分配到节点上运行。2)为了适应运行期间流量变化,提出了基于信息素的FSarsa(0)算法(PFSarsa(0))做出资源动态调整动作的决策。首先构建了预测模块,根据收集监测信息进行提前预测算法输入值。随后设计了模糊强化学习算法中隶属度、规则、即时奖励等细节,构建了完整的模糊逻辑控制器。同时使用基于蚁群算法的信息素记录学习过程状态变化的历史信息,指导本文设计的模糊强化学习算法迭代中向下一步误差的学习率。3)通过搭建集群和设计实验,实验结果表明了本文算法可以通过合理地确定任务调度方案、有效及时进行资源动态调整,从而达到提升Storm系统运行流式作业时的性能,并且验证了其有效性。
其他文献
学位
型糖尿病(T2DM)是全球面临的严重代谢疾病之一,其病因与发病机制较为复杂。近年来研究表明,肠道菌群与Ⅱ型糖尿病关系密切,并且肠道菌群严重紊乱可能还会诱发Ⅱ型糖尿病的发生。因此,利用益生菌调节肠道微生态环境从而改善II型糖尿病,已成为当前的研究热点之一。文章总结了目前益生菌对Ⅱ型糖尿病的改善作用和调控Ⅱ型糖尿病的作用途径,详细介绍了益生菌对Ⅱ型糖尿病患者机体炎症、肠黏膜屏障、糖脂代谢、氧化应激的调
期刊
数字经济已成为推动中国经济增长的主要引擎,而AIo T(Artificial Intelligence&Internet of Things,人工智能物联网)在数字经济发展的浪潮中作为一种新兴技术,正发挥着巨大的作用。AIo T是一种人工智能与物联网相互深度融合的一种Io T应用与研究的形态,Io T可以看作是AIo T的基础设施层,采集并提供大量的传感数据,而AI则是帮助Io T实现智慧互联的工
学位
消费是贯彻落实国内大循环战略的重要动能和关键部分,随着我国改革开放取得的巨大成功以及国家科技政策的推动落实,国内互联网科学技术水平在近30年取得了巨大的发展,结合居民生活消费水平的提高和消费习惯的更迭,我国互联网平台经济带来的消费体量占比日益提升。近年来,我国在产品、服务质量安全、消费者公平交易、消费者信息保护等涉消费者权益保护的问题上,引起了社会各界的广泛关注,互联网平台经济背景下的消费者权益纠
学位
大数据标准是大数据技术发展的基础性、先导性工作,对深化大数据技术在应急管理领域的应用具有重要意义。本文通过明确大数据标准概念,基于标准三维空间模型、应急管理业务内容及大数据标准体系,构建应急管理大数据标准体系模型。将模型与现有的大数据标准文本进行比对,发现应急管理大数据建设存在的问题,并给出优化建议。
期刊
近年来,沉浸式教学法被广泛应用于教育教学中,而日益兴起的“剧本杀”凭借其沉浸、互动、社交等特性,可以融入沉浸式教学中,有效完成课堂目标,激发学生主观能动性,落实“三全育人”的实践要求。文章结合沉浸式教学理论内涵,分析了“剧本杀”在市场营销课程教学中的可行性,进而落实到实际教学过程中并获得良好的成效。
期刊
在社会大众责任意识普遍觉醒的今天,全社会已经意识到企业履行社会责任的重要意义,消费者逐渐有意识的用实际行动支持企业践行社会责任。并且消费者越来越“理性”,购买商品的目的性和计划性越来越强,更愿意综合考虑产品的价格、质量、产品背后的企业社会责任带来的长期的社会效益、自身资源控制情况等因素做出购买决策。然而当前我国在企业社会责任与消费者购买意愿的研究却与现实背景背道而驰,研究大多从消费者对于企业社会责
学位
电动汽车作为一种极具环保潜力的电力应用产品,逐渐吸引着学术界的关注。尤其是进入低碳发展的时代后,随着新能源技术的不断推进,电动汽车已经融入了人们的日常生活之中。然而,在中心化电动汽车通信模式下,中心化的存储模式容易产生数据安全问题,例如:数据篡改、数据泄露、单点故障等等。并且,当大量的电动汽车通过电动汽车接入电网技术连入到充电服务公司中寻求充放电调度、结算、远程控制等智能服务时,其低效的双向通信会
学位
风电作为国家新型战略产业正快速发展。竞争激烈的设备制造和大量装机给后市场服务带来巨大需求。风电制造供应链逐步向后市场服务供应链转型。然而目前风电后市场服务供应链存在企业间不完全信任,合作意愿低,服务质量差等痛点,这严重阻碍了供应链的可持续发展。区块链作为一种新兴技术为供应链营造了去中心化、数据安全、信任可靠的良好环境。因此,论文从区块链的本质出发,基于服务质量的动态变化,采用微分博弈理论研究区块链
学位
随着物联网、人工智能、云计算和大数据技术的发展,城市服务的智能化趋势显得尤为突出,其相关应用也逐渐形成“物联”、“数联”、“智联”三位一体的体系结构。智慧城市中环境感知信息的来源,以及为用户提供的潜在环境感知服务主要由物联网感知设备从城市环境中感知、提取、生成。这些环境感知信息几乎时时刻刻发生着变化,如某条道路当前拥堵程度、公共场所的空位资源、办公室的占用情况等。针对这些时刻动态变化的感知数据,如
学位