面向分布式的任务调度方法及并行优化方法研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:ghostwh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式计算已经被广泛应用于网络传输、数据处理等领域。随着分布式计算的普及,使得处理信息数据节省了大量的时间与空间,也让数据处理的计算效率远高于以往,而其中合理的任务调度与高效的数据处理方法是提高计算效率的重要关键。目前,任务调度设计方法在许多领域中主要包括基于分布式框架的任务调度算法、基于单一目标优化的传统任务调度算法以及基于多目标的智能化思想方法等。并行处理方法主要是基于分布式计算框架,通过集群管理的方式,来降低硬件所带来的成本。尽管大多数的任务调度方法和数据处理方法均取得不错的效果,但是在任务调度优化方面和视频数据串行顺序处理方面造成计算效率低的问题上,还是有待提高。本文主要基于并行化的思想,在解决任务调度优化问题和视频数据串行顺序处理而造成的计算效率低的问题上,分别使用改进蚁群优化算法和推测并行的视频解码调度方法,并通过对比实验进行验证。本文研究内容如下:(1)针对分布式计算技术中存在的任务调度优化问题和视频数据串行顺序处理造成计算效率低的问题,总结国内外的研究现状,通过分析不同技术和方法的优缺点,对解决两种问题提出相应的解决方案。(2)提出一种自适应参数控制的蚁群优化算法。在原算法的基础上,采用一种自适应参数控制的方法进行改进,并且采用并行化的虚拟集群的仿真工具CloudSim对改进蚁群优化算法进行模拟仿真。在计算规模相同的条件下进行实验,通过对比其它智能化思想算法的实验结果,验证改进的蚁群优化算法在解决任务调度问题上具有有效性和可扩展性。(3)基于视频解码调度对所提出的调度算法进行验证。在计算机集群环境中,通过该方法,将原本按照串行顺序排列的视频编码数据进行推测划分、检验,并且进行并行解码处理和结果合并。在计算规模相同的条件下,通过对比按照串行顺序解码的实验结果,验证推测并行的视频解码调度方法在解决数据因串行处理而造成效率低的问题上具有有效性、可靠性和可扩展性。
其他文献
随着信息化时代的到来,人们接收的信息不再是单一的语音信号,更多的是图像信号,这是人类进行信息传播和交流的主要途径。但是图像信息在传输的过程中会受到各种噪声的干扰,噪声会使图像细节丢失、图像模糊,因此,图像去噪一直是研究热点。目前己经有大量的图像去噪算法被提出来,取得了较好的效果。然而,在去除噪声的同时保持图像更多的边缘细节特征依旧是图像去噪问题的研究关键。本文针对此问题,从保留图像的边缘细节特征出
频繁子图模式学习的精确算法的计算主要集中在子图同构测试上,但子图同构已经被证明为NP完全问题;近似算法避免了子图同构测试,但准确率较低。带容量约束的路径路由问题是一类由图演变的组合优化问题。在求解与图结构有关的组合优化问题时,存在大量与解特征有关的模式信息,这些模式信息对求解产生重要影响。针对以上问题,本文主要工作包括:(1)研究了一种改进的频繁子图模式学习算法。在所提算法中,采用固定大小节点采样
在沙尘天气条件下,受大气中悬浮微粒对入射光的吸收和散射作用影响,户外计算机视觉系统采集的图像通常存在颜色失真泛黄、对比度下降、细节信息丢失等问题,严重影响其在视频监控、视频导航和智能交通应用中的性能。针对以上问题,本文围绕基于深度学习的沙尘图像色彩恢复与增强方法展开研究,具体工作及所取得成果如下:(1)针对难以获取成对沙尘图像及其对应清晰图像作为深度学习训练样本的问题,提出一种基于物理成像模型的沙
无线传感器网络(Wireless Sensor Network,WSN)是一种将传感器采集到的数据通过网络收集起来进行分析处理的无线通信网络。目前广泛用于军事、智能家居、交通控制和医疗等各行各业。由于WSN路由协议的设计受到本地拓扑信息的单一性质的限制,传感器节点必须具备体积小和价格便宜等特点,这些特点使得传感器节点在能源供应、数据计算、节点通信和数据存储等方面受到限制。因此节省网络的能量消耗,提
近年来,中国的铁路发展迅速。铁路的飞速发展急需要改进列车维护技术。道岔转换设备是较为重要的驱动装置,是铁路行车保障安全和铁路运输提高效率的关键性设备,是实现基础设施信号互锁的枢纽。然而,道岔数量众多,种类繁多,结构复杂,使用寿命短,安装环境多样等特点,增加了道岔维护的困难。为了检测道岔设备运行状态,当前绝大多数铁路道岔依靠的是传统性常规的预防测试以及人工计划维护。但现场维修的工作人员无法及时发现道
计算鬼成像通过散斑图案和对应总光强的关联计算进行成像。根据对包含散斑图案空间信息的参考臂和仅包含待成像物体信息的物臂进行关联计算从而得到目标物体。计算鬼成像因其特有的成像方式,在含大噪声和弱光条件下具有一定的优势。但其仍就存在着一定的弊病,首要问题就是低采样率下的鬼成像重建效果不如预期。本论文讨论了基于计算鬼成像的深度神经网络方法研究,从多个角度,运用多种深度神经网络机制对计算鬼成像重建进行讨论。
人体行为识别(Human Activity Recognition,HAR)是普适计算领域中重要的研究内容,在儿童运动监测、病人康复训练、老人跌倒检测等方面得到了广泛应用和发展。目前,基于深度学习的行为识别方法研究受到诸多学者的关注,但是大多数深度学习模型都旨在解决特定任务,当数据分布发生变化时,这些模型将需要大量计算能力并耗费大量时间来再次被重建。而迁移学习(Transfer Learning)
在下雨天,特别是在大雨和暴雨等极端雨天天气,户外计算机视觉系统所采集图像会产生严重雾化模糊,影响其应用性能。利用图像处理技术,消除雨雾模糊影响,提高计算机视觉系统图像画面的清晰度。对提升计算机视觉系统适应雨天天气的应用能力,具有重要意义和实际应用价值,是近几年图像处理和计算机视觉领域的研究热点。本文围绕图像去雨的深度学习方法展开研究。主要工作及取得成果如下:(1)针对现有图像去雨深度卷积神经网络方
在国家政策引导和行业需求推动下,旅游市场快速发展,旅游信息过载问题随之出现。由于用户旅游频次低,历史交互数据稀疏,目前常用的传统推荐算法如协同过滤、矩阵分解等推荐效果不佳。同时现有旅游系统主要是对旅游信息进行展示,缺乏个性化旅游资源定制功能。有鉴于此,本文面向旅游者的个性化需求,基于用户对景点的历史访问数据,设计了一种基于图卷积神经网络的景点推荐算法,在此基础上设计并实现了个性化旅游推荐系统。主要
C语言作为结构化程序设计语言的代表,被众多高校确定为理工科各专业的必修课程,提高编程实践能力是该课程的重要教学目标之一。为了更好提高的学习者的编程能力,在线测评系统(Online Judge)或实验支持系统成为需求迫切的教学支持平台。此类教学平台的作用是对学生提交的程序代码通过黑盒测试方式进行自动评测,并给出评判结果,促进课程的实践教学效果。然而,目前的大多数平台都只能给出评测结果,而不能对学习者