数据网格中独立任务的调度及其算法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:dongshantongak
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网格的出现,使得在地理上广泛分布的各种资源在逻辑上形成一个整体,从而实现资源共享和协同工作。另一方面,随着传感器,存储系统,网络处理能力和容量的显著提高,使得创建海量数据文件成为可能,由此导致了数据密集型应用的兴起,这种应用不仅需要巨大的计算能力,同时还需要异常庞大的数据处理能力,普通的计算资源以及存储资源开始无法承载这种需求,因此数据网格得以出现。数据密集型应用所需要的这些海量数据的数据源有可能分散在地理上广泛分布的存储设备上,当大规模数据集在广域范围内进行传输时,必然会产生巨大的延迟,因此数据传输的效率成为关注的重点。由于同样的数据可能在多个地方存有副本,为了提高数据传输的效率,用户必须要有一个有效的方法来选择合适的存储资源以获取任务所需的数据。因此,为了更快的完成数据密集型应用的执行,减小其完成的时间跨度,不仅需要有效的任务调度方法,也需要有效的存储资源选择方法。本文研究的是数据网格中独立任务的调度问题。数据密集型应用可以分成一系列独立任务,各任务在执行过程中是相互独立的,不需要考虑任务执行的顺序。这些任务不仅需要强大的计算能力,同样需要处理庞大的数据集。针对这个特点,本文所研究的问题可以分为两个子问题:任务的调度以及存储资源的选择。调度的目标是使应用的整个完成时间最小化。为了更具体的描述应用的完成时间,本文对其进行了形式化描述,同时也形式化描述了本文所研究的具体问题。在此基础上,深入分析了两个子问题的特点以及遗传算法和禁忌搜索算法的优缺点,使用经过禁忌搜索算法改进过的遗传算法来解决第一个子问题,同时转换考虑的角度,以计算资源为单位而不是以任务为单位,使用禁忌搜索算法来解决第二个子问题。然后,针对所提出的方法存在的一些问题,改进了调度器模型同时对存储资源选择问题进行了规模上的缩减,并对算法做了并行处理、。最后,对提出的算法进行了模拟实验,实验表明,本文所提出的算法相对于其他算法,在减小应用的完成时间上在一定程度上存在其优越性的一面。
其他文献
近年,随着Internet和网络应用的普及以及数字压缩技术的进步,各种流媒体应用如视频点播(Video On Demand), IP电话,视频会议纷纷兴起。然而,由于流媒体应用通常具有单连接占
结对编程(Pair Programming)是极限编程(Extreme Programming,简称XP)的十二个实践之一。结对编程是一个非常直观的概念,简单的说是指两位程序员肩并肩地坐在同一台电脑前合
学位
随着计算机教育的普及和发展,内蒙古大学计算中心计算机数成倍的增长。机器数已达到600台,全部计算机宽带接入因特网,中心日接待学生达到2000人次,为全校学生提供了一个功能完善
当前40Gbit/s传输技术已经进入了“普及应用阶段”的快速健康发展期,而100Gbit/s高速网络相关标准正逐步成熟,预计在未来3-4年内将会得到快速发展。同时近期市场调查报告显示
随着各种企业级系统的快速发展和异构框架的不断丰富,将各种异构系统进行的集成就成为当前数据库领域的一个热点问题。要实现系统集成就首先进行数据集成,而基于本体的数据集
在计算机硬件和网络环境高速发展提供的强大支持背景下,我国的虚拟现实技术已进入快速发展阶段,越来越多的虚拟现实技术开始融入人们的生活。其中,三维场景展示技术已经在工
伴随语音综合分析,流媒体视频处理,图像智能识别在手持等微型化设备上的日益广泛的应用,在涉及了多应用领域的开发工作中,开发者希望有限的系统资源能够高效地处理多种类型的
随着计算机、互联网以及存储技术等高新技术的发展,数字图像的传播及存储数量正在以惊人的速度增长。因此人们需要更加快速、准确的图像检索方法来查询所需要的图像及相关信
近年来,随着我国高等教育的快速发展,高校办学规模不断扩大,教学资源日益紧缺,使教务管理部门任务越来越重,不仅增大了工作量,更增加了工作难度,管理稍不到位,便容易出现失误。为了改