论文部分内容阅读
软件定义网络(SDN)是一个创新性的网络架构,它从底层设备中分隔出了网络控制功能。跟随时间的推移,越来越多的应用产生了大量的数据处理需求,利用SDN帮助企业建立一个更易管控的大数据中心正成为大势所趋。为了并行处理大规模数据,Hadoop作为MapReduce的一个开源实现被提了出来。在实际Hadoop系统中,一个严重影响整体性能的问题(如何使作业完成时间最短)是一个NP完全问题。将任务分配到数据本地节点是一个主要的分配策略,由于网络带宽是一个紧缺资源,这样做可以避免链路占用。许多任务调度算法诸如HDS和BAR都是采用了保证数据本地性的策略。然而,这些算法要么忽视了从全局角度来分配任务,要么在分配任务的时候忽略了网络可用带宽这一重要影响因素。本文提出了一个启发式的带宽感知任务调度算法BASS,BASS结合考虑了Hadoop和SDN。它不仅从全局视角保证了数据的本地性,同时也用一种优化的方式来高效分配任务,示例和实验都证明了BASS算法在作业完成时间方面有着最好的性能表现。据我们所知,BASS是第一个利用SDN的能力来帮助Hadoop进行大数据处理的策略,我们相信这为大数据处理指明了一个新的趋势。