论文部分内容阅读
从底层的硬件架构到上层的数据处理方式，数据中心网络和MapReduce共同构成数据中心与云计算的核心体系，同时也成为一体化信息基础设施快速处理大量军情信息和数据的关键技术，是未来网络中心战中夺取制信息权的必备条件。近年来，各种新的服务需求的不断涌现对数据中心网络提出了更高的结构性要求。针对这些要求，研究者们设计了一些新的数据中心网络结构。其中递归层次结构相对其它结构，具有更强的自组织性、更高的可靠性、更好的可拓展性等优点，在军用和民用领域都具有重要研究价值和广泛应用前景。但研究者们仅仅从结构本身来考虑如何提高网络性能，却忽略了数据中心网络设计的实用性要求，特别是与MapReduce的数据处理机制相适应的问题。本文针对一体化信息基础设施中递归层次结构数据中心网络与MapReduce的匹配这一议题展开研究。主要研究工作和创新点如下：1）提出了递归层次结构数据中心网络的可靠性分析方法出于军事需求考虑，提出了分析判断递归层次结构数据中心网络可靠性的系统方法。从拓扑设计的角度分析了递归层次结构数据中心网络可靠性的评价指标，包括连通性、聚合性、以及敏感性。基于递归层次结构数据中心网络的形式化描述，针对每个可靠性评价指标，研究了具体的量化评价分析方法。利用DCell、FiConn和BCube这三种目前最为典型的递归层次结构为案例，检验了方法的可行性和有效性。通过案例分析发现，虽然FiConn的敏感性最好，但其聚合性和连通性最差，综合三个评价指标的分析结果，得出BCube的可靠性最高。2）提出了MapReduce程序设计的合理性分析方法基于对象Petri网，提出了一种全面分析验证MapReduce程序设计合理性的系统方法。总结出分析MapReduce程序设计合理性的具体目的，并基于这些目的研究给出MapReduce程序的合理性指标，包括具有逻辑上可执行的工作流程、不存在Straggler和Map冲突、具有合理的运行时间，以此判断MapReduce程序是否存在设计不合理问题。由于对象Petri网能够很好地描述复杂MapReduce程序的内在关系，准确无误的模拟MapReduce程序中各个步骤的执行情况，并且在模拟过程中不需要人工干预，因此利用对象Petri网模拟MapReduce的数据处理步骤。针对各个合理性指标采取不同的方法分析对象Petri网的运行过程和结果判断MapReduce程序是否存在设计不合理的问题，以达到不通过在数据中心网络上运行MapReduce程序就能验证其合理性的目的。通过针对每条合理性指标的实验分析和结果，证明了方法的有效性。3）设计了一种支持MapReduce的递归层次结构基于BCube和Fat-tree结构，设计了一种支持MapReduce的递归层次结构——Hyper-Fat-tree Network（HFN）。HFN的构建方法基于BCube的递归规律，即以一个低层的网络拓扑作为一个递归单元，多个这样的递归单元按照超立方体（hypercube）的节点连接关系构成一个高一层的网络拓扑。但不同于BCube的是，HFN的最小递归单元采用类似Fat-tree的冗余构造，并依据MapReduce的执行控制过程，明确了主服务器和工作服务器的相对位置和连接关系，以适应MapReduce的数据处理机制和提高利用MapReduce进行分布式数据处理的可靠性。由于结合了超立方体和Fat-tree的优点，HFN具有连通性高、直径小、可靠性好的特点。HFN还具有较好的可拓展性，HFN可连接的服务器数量是BCube中服务器数量的数倍，有效满足了一体化信息基础设施建设发展对数据中心网络服务器数量不断增长的要求。4）提出了在一般递归层次结构数据中心网络上组织维护数据文件的方法基于分布式哈希表的基本原理，提出了一种在一般递归层次结构数据中心网络上组织维护数据文件的方法。针对递归层次结构中服务器的互联方式，确定了服务器在组织维护数据文件过程中的作用。利用分布式哈希表的基本原理，研究了在一般递归层次结构数据中心网络上实现数据存储、读取和维护的方法。介绍了这些方法中涉及的分布式哈希表的键表结构，以及基于此结构进行数据文件维护操作的路由方法。针对服务器故障，给出了在一般递归层次结构数据中心网络上组织和维护数据文件的容错方法。通过实验分析比较了在HFN和BCube上进行数据操作的平均路径长度和考虑节点故障时数据操作的成功率，证明了此方法能够将各种数据操作请求信息迅速有效地发送给相应的目的服务器，利用此方法在一般递归层次结构数据中心网络上组织和维护数据文件是可行且有效的。5）提出了在一般递归层次结构数据中心网络上运行MapReduce的方法基于分布式哈希表的基本原理，提出了一种在一般递归层次结构数据中心网络上运行MapReduce的方法。针对MapReduce的基本数据处理机制，研究了在一般递归层次结构数据中心网络上如何区分主服务器和工作服务器，以及分配Map和Reduce任务、传输中间数据的方法。介绍了这些方法中涉及的分布式哈希表的键表结构，以及基于此结构进行任务分配和中间数据传输的路由方法。研究了MapReduce在一般递归层次结构数据中心网络上的容错方法，包括容错路由以及针对服务器故障的容错方法。通过实验分析比较了HFN与BCube在利用此方法运行MapReduce时的网络性能，包括负载平衡、吞吐量和带宽，证明了此方法能够将整个数据中心网络的负载平均分配给各台服务器，并且在节点故障率较高的情况下依然能够满足带宽需求量大的MapReduce应用和服务。