面向大规模数据中心网络故障管理关键技术研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:zhongsichuang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心是Internet的重要基础设施,它为用户提供数据存储、计算和传输等核心服务支撑。随着网络技术的高速发展,特别是大数据时代的到来,数据中心在Web服务、搜索引擎、电子商务、社交网络、网络游戏及大规模集群计算等领域中的关键作用日益显现。大规模数据中心网络运行的应用通常对网络性能要求严格,需要管理者能更加实时、精确的掌握全网态势和端到端的通信性能,在网络性能下降之后能及时发现、定位故障和解决网络拥塞。本文针对数据中心网络研究高效的网络故障诊断方法,提出了以下创新点:1.数据中心网络具有规模大、异构性强、数据变化快和流量复杂等特点,采用现有的数据采集方法很难达到网络管理的需求,提出了分布式数据采集节点部署方法,以较小的数据采集集合来获取网络中的数据信息,在此基础上提出了并发自适应分布式数据采集方法,采用自适应采集策略和并发多线程机制,能根据数据中心网络数据变化自适应调整数据采集周期,并根据网络规模调整并发采集粒度,极大提高了数据采集的效率。2.针对数据中心网络中事件告警存在数据量大、冗余信息多的问题,提出了基于冗余消减机制的告警相关性分析方法,对收集的告警事件数据进行归一化处理,判断告警数据的拓扑相关性,根据拓扑相关性分为不同的拓扑组,对每个拓扑组进行时间相关性和告警相关度的计算,最终确定故障的根源告警。3.面对数据中心网络中众多的相关信息,如何进行故障诊断获得引起网络异常的最有可能的故障集合是一个富有挑战性的问题,论文提出了基于自学习机制贝叶斯的故障分类方法,对贝叶斯分类器进行训练,利用分类器来对网络故障进行分类,在分类过程中产生错误的故障,采用自学习机制根据故障属性建立新的故障类型加入到故障类型库中,不断完善分类器,提高了故障分类的精度。4.设计并实现了面向数据中心网络的故障管理原型系统,该系统基于Spring的管理框架,采用分层的体系架构,从上至下包括可视化层、决策层、网络感知和资源层,对网络中的大量数据采用上述算法进行分析和故障诊断,提供实时准确的全网故障和性能视图,并通过可视化工具以用户友好的方式表现出来。目前该系统部署在天河2网络故障监控中,应用效果良好。
其他文献
随着计算机软硬件技术的发展,嵌入式系统的实时性得到了很大的改善,但能耗问题却成为制约其发展的一个关键问题。功耗优化技术成为嵌入式实时系统研究中越来越受关注的问题。动
随着遥感技术的发展,每天获取的遥感数据与日俱增,尤其是进入21世纪后,遥感数据呈爆炸性增长。与数据相伴的是,遥感图像增强技术和遥感目标识别技术也得到快速的发展。深度学习是当前机器学习最热门领域,其中卷积神经网络作为深度学习模型之一,在目标识别、目标检测等领域具有非常广阔的前景。低照度光学遥感图像的可视效果差,图像特征的区分度较低,无法满足识别的要求。低照度光学遥感图像增强技术是针对低质量的遥感图像
在过去的几年中,P2P系统规模不断扩大,应用不断增长,高效的资源搜索机制成为P2P系统的关键技术。P2P网络的动态性和匿名性无法保证所有的响应节点都提供诚实良好的服务和可靠
随着我国社会经济的迅速发展,人们对文化娱乐产品的需求也越来越大。本文基于大屏幕特种电影,对其放映过程中的图像放大方法开展了相关研究。论文首先总结了当前已有的各类常
随着信息技术和Internet应用的快速发展,电子商务已经逐渐成为人们进行商务活动的新模式,这就产生了一个新的问题:信息数字化产品很容易被盗版,侵权和随意篡改,存在着极大的
当前超大规模高性能计算机朝着商用处理器与计算加速器混合异构方向发展,与传统的并行计算机系统相比,计算性能有了较大改进。在2010年,Intel发布了MIC(集成众核架构)并行协
本文分析了前人在图像拼接领域的研究成果和研究现状,介绍了图像拼接的流程、图像的采集以及常见的图像变换模型。重点研究了图像拼接技术中的图像配准及图像融合等关键技术
目前,P2P技术广泛应用到文件共享、即时通讯等众多领域中,在这些应用获得了一定成就的同时,也给网络中的用户提供了的帮助和带来了享受。在众多应用中,文件共享的应用是P2P技
随着计算机网络与信息技术飞速发展,信息的获取、发布和分享进入了一个新时代。Web服务解决了传统网络应用程序的分布式对象、中间件技术的相互独立性和紧耦合性,其诸多优点
随着P2P技术的发展,其应用越来越广泛,其中基于分布式哈希表(DHT)的P2P资源搜索算法正是近年来P2P技术领域研究的热点。对于基于DHT系统的大量研究主要集中在如何提高查询效率