SDN-Campus控制器性能数据汇聚分析系统的设计与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:ahaqwjtyl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前SDN-Campus控制器已应用于传统园区及连锁零售、连锁酒店和连锁餐厅等具有园区网络特点的集中化管理场景中。然而随着SDN市场的发展,控制器需要纳管的网络设备越来越多,原有小容量场景的设计方案无法承载用于监测网络设备的海量性能数据。在本论文中,主要通过引入大数据技术重新设计性能数据的汇聚与分析方案,重点解决海量性能数据的高效存储、快速统计分析与预测分析等问题。在SDN-Campus控制器性能数据汇聚分析系统中,主要解决了以下几个问题:(1)通过对比不同的大数据储存系统,本课题选择HBase作为存储海量性能数据的数据库。根据性能数据具备时间维度和空间维度的特点,对HBase的主键Rowkey进行设计优化,并通过自定义过滤器Filter和BulkLoad快速导入方式进一步提高性能数据的存储和查询效率。(2)通过对比不同的计算框架以及将HBase作为大数据存储系统的综合考量,本课题选择Spark作为处理汇聚与分析海量性能数据任务的大数据计算平台。通过运用RDD和DataFrame数据结构、MapReduce操作和Spark-SQL技术,并以Java与Scala混合编程方式,共同实现海量性能数据的复杂计算任务,进一步提高了计算的可行性和高效性。(3)针对“某餐厅”场景下性能数据在时间维度中的特点,使用数值计算软件库TensorFlow中的Timeseries与RNNCell等组件构建长短期记忆网络LSTM模型实现性能数据的预测,并通过TensorFlowOnSpark组件将TensorFlow的计算任务下发到Spark大数据计算平台中,大幅降低了预测模型的构建时长。目前,SDN-Campus控制器性能数据汇聚分析系统已经实现了辅助功能与汇聚分析核心功能模块的开发,经过项目团队的测试与验证,该系统满足预期需求。SDN-Campus控制器性能数据汇聚分析系统的实现,为SDN-Campus控制器其他系统组件的海量数据的存储与计算提供了较好的方案,为项目团队后续将小容量设计全面升级改造为大容量设计提供参考。
其他文献
选择性催化还原技术是目前工业上治理固定源NOx应用最广泛的脱硝技术,催化剂作为该技术的核心。在燃用高碱煤时,V2O5-WO3/TiO2催化剂布置于高尘区域易受烟气中钠盐作用而失活;低温催化剂最常见的是Mn/ZSM-5催化剂,提高烟气中NO2比例会发生快速SCR反应,加快催化还原反应进程。然而,钠盐和NO2的存在对SO3生成有明显的影响,大多数学者集中于研究碱金属中毒催化剂的脱硝性能等,忽略了SO3
数据信息的指数增长,加剧了数据保存成本过高、空间耗能过大等问题。据阿里云相关数据统计,由于大量冗余数据存在、存储结构不合理,海量数据中心存储空间的有效利用率不足40%
数学是一门具有严密逻辑系统的科学.中学数学的各个分支,都是按照逻辑系统来组织的,为培养学生的逻辑推理能力提供了极为有力的条件.义务教育阶段的课程目标也明确指出,推理能力的发展应贯穿于数学学习的始终.因此,研究在数学课程教学中如何培养学生的逻辑推理能力具有十分重要的意义.八年级是义务教育阶段培养学生具有初步逻辑推理能力的关键时期.八年级数学教材中的几何内容,更是训练学生由合情推理到演绎推理的很好材料
目前,黄土本构模型的研究多集中于结构性和应力路径方面,针对加载速率对力学特性的影响和剪胀特性的研究较少见。此外,大多数本构模型主要基于小变形理论,未考虑有限变形的影响。鉴于此,本文尝试在饱和黄土三轴试验分析的基础上,建立一个有限变形条件下考虑加载速率效应和剪胀特性的饱和黄土边界面模型,主要结论如下:(1)通过分析本文和前人的三轴试验,可以发现,对数应变不改变黄土应力-应变曲线的形态和残余强度,但会
随着工业生产和社会进步,我国的污水量持续增加,水环境恶化事件屡有发生。为改进我国的水体环境,污水处理厂的提标改造势在必行。本研究以H市污水厂为研究对象,对污水厂原工艺的处理效果进行研究,发现H市污水厂原有处理规模为2×104m3/d,原工艺流程为:粗格栅+提升泵站+细栅+旋流沉砂+水解酸化+TU氧化沟+二沉池+加氯消毒,出水满足《城镇污水处理厂污染物排放标准》GB18918-2002二级标准。现需
图作为一种通用的数据模型,可以表示现实世界中各种复杂的实体之间的关系,在模式识别、图像处理、社交网络等多个领域有广泛应用。图匹配的本质是计算两个图结构的相似性,现
双结构网络是一种以互联网为主结构而以播存网络为次结构的新型网络架构,其能够充分利用物理广播向用户一侧分发互联网热门内容,以便有效地降低内容分发路由跳数。而统一内容
移动设备和全球定位系统的迅速发展,使得很多基于位置的应用被大量研究,一个突出的应用就是搜索感兴趣的轨迹。传统的轨迹查询一般是以位置点或轨迹为基准来进行查询,返回距
DVB-S2(EN 302307)是新一代数字卫星电视传输标准,它利用高效的调制和编码等新技术,提升了数字卫星电视传输和频谱利用率等性能。DVB-S2将逐渐取代上一代标准DVB-S,将在未来
忆阻器是一种新型电子元件,可作为存储器使用。另外,在适当的电激励下,忆阻器还具有电阻渐变特性。该特性可用于模拟生物突触的权重变化,实现类脑计算,有望弥补传统冯·诺依