论文部分内容阅读
【摘 要】随着经济的发展和科技的进步,电信运营商业务的增长,特别是4G及5G时代的到来,电信运营商数据中心的规模逐渐庞大,设备类型,数据类型,及大数据平台及云平台的出现,给传统的运维手段带来了新的挑战。本文就智能化运维管理平台的规划设计展开探讨。
【关键词】智能化;运维平台;设计
引言
智能化运维管理平台建立的意义在于能够保证运维管理的体系化及运维管理的自动化,同时能够提升运维管理的质量及运维管理的效果,运维管理能够保证网络运行的稳定化,安全化及正常化,能促进各企业运作的体系化,及保证信息交互的安全性和稳定性,能在一定程度上维系各行各业的稳定发展,降低发展过程中所承受的风险及损失,进一步推动网络技术及互联网在行业中的应用发展,提升其所占据的地位,进行智能化运维管理平台的研究是具有实际价值的。
1智能化运维管理平台整体设计
按照平台即服务的设计理念,统一运维的基础采控、数据计算、组件服务,使得上层的各类运维工具、场景、应用实现无缝打通和扩展,为运维的持续良性的发展奠定基础。(1)统一采控平台:分布式的资源采控体系,完成被管理资源统一采控,实现统一的第三方系统集成和纳管。(2)数据处理平台:可建模运维大数据服务,预置运维模型和分析算法,从而统一运维数据,形成数据资产。(3)组件服务平台:提供常用运维服务组件,封装典型场景的API扩展,快速拓展运维应用,实现持续发展。
2智能化运维管理平台的规划设计
2.1数据存放软件的优化与规范化
智能化运维管理平台实现的要求、数据安全性的保证及数据运行的自动化的具体操作是对数据存放软件进行优化,即需要对数据的获取设置相应的程序,包括用户、密码、用户限制对象及限定登入频率,以此来自动化的保證数据运行的安全性及稳定性,同时保证运维管理平台的正常运作,及运作安全系数的提升。管理体系与数据软件相关联,在数据软件正常运作的过程中,管理体系跟踪性的运作,能够保证获取到数据的运作轨迹及输送轨迹,同时对管理体系所设置的程序能及时的获取运行过程中存在的漏洞与危险数据,并进行及时的防御与控制,进一步保证运维管理平台自动化运行的质量。
2.2数据处理系统
数据处理系统运维集中存储与处理各类运维数据,这些数据来自不同类型的通信IT资源,也有着完全不同的结构类型,因此专门设计数据融合管理模块来对各类数据进行标准化处理、存储与提供读取API,形成运维大数据数据分析与智能运维管理能力。
2.2.1智能处理引擎
平台提供多种类型的数据智能处理引擎:(1)实时计算:平台对采集到的各类数据,提供实时的数据计算处理能力,以数据流式处理的方式,从各类原始数据中,实时提炼出高层业务数据。(2)离线计算:平台同时提供对历史数据的定期跑批计算能力,定期加载海量数据,通过计算节点的分布式计算能力,完成大数据计算处理。(3)算法库:平台内置运维中需要使用的各类计算算法,并提供扩充库,可不断补充算法,以实现运维数据的多种加工计算要求。(4)模型训练:当数据平台积累到较大规模的数据量后,可将这些数据导入机器学习过程,实现运维业务模型训练,如生成动态基线、资源访问模式等功能。
2.2.2数据融合管理
运维集中存储与处理各类运维数据,这些数据来自不同类型的IT资源,也有着完全不同的结构类型,因此运维平台,专门设计数据融合管理模块来对各类数据进行标准化处理、存储与提供读取API。(1)数据来源:平台应支持多种异构的数据来源,包括镜像数据、机器数据、应用数据、拨测数据、人工数据。(2)数据存储:平台结合关系型数据库与NoSQL的技术特点,提供出强一致性,的联机读写数据库;面向运维数据时序特点的时序列数据库;以及大量各种资源半结构化的描述型日志数据;同时各数据库均应支持水平扩展,避免数据瓶颈。(3)数据模型:基于数据存储。
2.2.3智能分析学习引擎
智能运维管理平台收集的各类运维大数据,可以通过机器学习的方式,训练出相应的计算模型,以更好的支撑运维业务需要。主要包括以下部分:(1)算法库:提供训练与消费服务需要的各类数据算法,平台预置如复合抖动算法、趋势预测、去噪滤波等多种算法,并允许扩展引入相关算法。(2)原始数据输入:支持从运维平台或外部数据库,加载大量用于模型训练的算法。(3)训练任务调度:将训练任务分解为有向图,每个节点代表任务中的一个计算环节,通过分布式方式分散到计算集群中,利用主机的水平扩展能力,加速模型训练与计算任务的完成。(4)模型库:训练任务完成的模型记入模型库,以用于后续的分析与消费。(5)消费服务接口:通过接口接受运维平台上层各类运维数据计算需求,根据输入调用模型进行计算,提供输出结果。
2.3运维智能化
(1)智能化监控及故障诊断。采用基于业务、IT层级和全路径三个维度的监控覆盖手段,结合数据处理引擎和智能的关联分析算法,对海量监控数据进行实时处理,实现较为准确快速的故障定位。目前,已基本实现近70%左右日常事件的自动识别能力。(2)运维数据分析及预测。运维管理工作逐步向业务运营和用户服务等领域延伸,利用运维大数据实时数据处理能力,结合业务场景,对业务运营数据深入挖掘分析,协助业务部门优化服务效率,提升运维服务价值。
2.4网络安全领域的智能化研究探索
信息安全管理既是运营管理的关键领域,也是运用数据挖掘、机器学习、人工智能等新技术的重要场景方向。通过与国家信息技术安全研究中心联合开展课题攻关,设计开发了网络安全情报系统,致力于形成共享的情报获取生态机制。在单要素威胁场景的精确检测领域,结合自然语言处理等技术,对深度学习算法在该领域的适用能力进行了研究,取得了优于同类工具的检测效果。
结语
随着智能化运维管理平台的顺利上线运营,采用了自动化管理工具,运维的操作采用自动化的方式,运维效率较之前有显著的提高,操作标准化与规范化水平提升,减少了电信运营商数据中心安全隐患与风险。运维态势相关信息掌控程度提高,确保运行态势保持合理水平,特别是系统监控的相关新应用,可以更加适应大数据、云计算环境下的运营商数据中心的运维管理工作。
参考文献:
[1]林莉.智能化运维管理平台的研究与实现[J].福建电脑,2015(3).
[2]罗雁,孙立志,李峰.规划二三维网络综合管理平台的设计与实现[J].城市勘测,2016(5).
[3]田军,陈文婷,罗志刚.智能化平台在数据中心基础设施运维管理中的应用[J].现代建筑电气,2015(9).
(作者单位:信息化管理中心普光项目部)
【关键词】智能化;运维平台;设计
引言
智能化运维管理平台建立的意义在于能够保证运维管理的体系化及运维管理的自动化,同时能够提升运维管理的质量及运维管理的效果,运维管理能够保证网络运行的稳定化,安全化及正常化,能促进各企业运作的体系化,及保证信息交互的安全性和稳定性,能在一定程度上维系各行各业的稳定发展,降低发展过程中所承受的风险及损失,进一步推动网络技术及互联网在行业中的应用发展,提升其所占据的地位,进行智能化运维管理平台的研究是具有实际价值的。
1智能化运维管理平台整体设计
按照平台即服务的设计理念,统一运维的基础采控、数据计算、组件服务,使得上层的各类运维工具、场景、应用实现无缝打通和扩展,为运维的持续良性的发展奠定基础。(1)统一采控平台:分布式的资源采控体系,完成被管理资源统一采控,实现统一的第三方系统集成和纳管。(2)数据处理平台:可建模运维大数据服务,预置运维模型和分析算法,从而统一运维数据,形成数据资产。(3)组件服务平台:提供常用运维服务组件,封装典型场景的API扩展,快速拓展运维应用,实现持续发展。
2智能化运维管理平台的规划设计
2.1数据存放软件的优化与规范化
智能化运维管理平台实现的要求、数据安全性的保证及数据运行的自动化的具体操作是对数据存放软件进行优化,即需要对数据的获取设置相应的程序,包括用户、密码、用户限制对象及限定登入频率,以此来自动化的保證数据运行的安全性及稳定性,同时保证运维管理平台的正常运作,及运作安全系数的提升。管理体系与数据软件相关联,在数据软件正常运作的过程中,管理体系跟踪性的运作,能够保证获取到数据的运作轨迹及输送轨迹,同时对管理体系所设置的程序能及时的获取运行过程中存在的漏洞与危险数据,并进行及时的防御与控制,进一步保证运维管理平台自动化运行的质量。
2.2数据处理系统
数据处理系统运维集中存储与处理各类运维数据,这些数据来自不同类型的通信IT资源,也有着完全不同的结构类型,因此专门设计数据融合管理模块来对各类数据进行标准化处理、存储与提供读取API,形成运维大数据数据分析与智能运维管理能力。
2.2.1智能处理引擎
平台提供多种类型的数据智能处理引擎:(1)实时计算:平台对采集到的各类数据,提供实时的数据计算处理能力,以数据流式处理的方式,从各类原始数据中,实时提炼出高层业务数据。(2)离线计算:平台同时提供对历史数据的定期跑批计算能力,定期加载海量数据,通过计算节点的分布式计算能力,完成大数据计算处理。(3)算法库:平台内置运维中需要使用的各类计算算法,并提供扩充库,可不断补充算法,以实现运维数据的多种加工计算要求。(4)模型训练:当数据平台积累到较大规模的数据量后,可将这些数据导入机器学习过程,实现运维业务模型训练,如生成动态基线、资源访问模式等功能。
2.2.2数据融合管理
运维集中存储与处理各类运维数据,这些数据来自不同类型的IT资源,也有着完全不同的结构类型,因此运维平台,专门设计数据融合管理模块来对各类数据进行标准化处理、存储与提供读取API。(1)数据来源:平台应支持多种异构的数据来源,包括镜像数据、机器数据、应用数据、拨测数据、人工数据。(2)数据存储:平台结合关系型数据库与NoSQL的技术特点,提供出强一致性,的联机读写数据库;面向运维数据时序特点的时序列数据库;以及大量各种资源半结构化的描述型日志数据;同时各数据库均应支持水平扩展,避免数据瓶颈。(3)数据模型:基于数据存储。
2.2.3智能分析学习引擎
智能运维管理平台收集的各类运维大数据,可以通过机器学习的方式,训练出相应的计算模型,以更好的支撑运维业务需要。主要包括以下部分:(1)算法库:提供训练与消费服务需要的各类数据算法,平台预置如复合抖动算法、趋势预测、去噪滤波等多种算法,并允许扩展引入相关算法。(2)原始数据输入:支持从运维平台或外部数据库,加载大量用于模型训练的算法。(3)训练任务调度:将训练任务分解为有向图,每个节点代表任务中的一个计算环节,通过分布式方式分散到计算集群中,利用主机的水平扩展能力,加速模型训练与计算任务的完成。(4)模型库:训练任务完成的模型记入模型库,以用于后续的分析与消费。(5)消费服务接口:通过接口接受运维平台上层各类运维数据计算需求,根据输入调用模型进行计算,提供输出结果。
2.3运维智能化
(1)智能化监控及故障诊断。采用基于业务、IT层级和全路径三个维度的监控覆盖手段,结合数据处理引擎和智能的关联分析算法,对海量监控数据进行实时处理,实现较为准确快速的故障定位。目前,已基本实现近70%左右日常事件的自动识别能力。(2)运维数据分析及预测。运维管理工作逐步向业务运营和用户服务等领域延伸,利用运维大数据实时数据处理能力,结合业务场景,对业务运营数据深入挖掘分析,协助业务部门优化服务效率,提升运维服务价值。
2.4网络安全领域的智能化研究探索
信息安全管理既是运营管理的关键领域,也是运用数据挖掘、机器学习、人工智能等新技术的重要场景方向。通过与国家信息技术安全研究中心联合开展课题攻关,设计开发了网络安全情报系统,致力于形成共享的情报获取生态机制。在单要素威胁场景的精确检测领域,结合自然语言处理等技术,对深度学习算法在该领域的适用能力进行了研究,取得了优于同类工具的检测效果。
结语
随着智能化运维管理平台的顺利上线运营,采用了自动化管理工具,运维的操作采用自动化的方式,运维效率较之前有显著的提高,操作标准化与规范化水平提升,减少了电信运营商数据中心安全隐患与风险。运维态势相关信息掌控程度提高,确保运行态势保持合理水平,特别是系统监控的相关新应用,可以更加适应大数据、云计算环境下的运营商数据中心的运维管理工作。
参考文献:
[1]林莉.智能化运维管理平台的研究与实现[J].福建电脑,2015(3).
[2]罗雁,孙立志,李峰.规划二三维网络综合管理平台的设计与实现[J].城市勘测,2016(5).
[3]田军,陈文婷,罗志刚.智能化平台在数据中心基础设施运维管理中的应用[J].现代建筑电气,2015(9).
(作者单位:信息化管理中心普光项目部)