论文部分内容阅读
编译 杨勇
强大的新工具支持可操作的深度分析,取代了水晶球式的预测。
识别和确定潜在的网络故障和性能问题一直是根据现状而进行猜测,而新一代的预测分析工具有望能更准确可靠的预测网络,工作人员在具体问题开始影响网络运行之前就能够解决和纠正这些问题。
预测分析改变了游戏规则,使首席信息官们能够真正地展望未来。爱立信的技术和创新主管Diomedes Kastanis说:“网络应适应不断变化的应用程序需求,动态地处理特殊事件、季节性问题等,对这方面的要求越来越高。虽然我们有很多自动化系统和规则来管理和运行网络,但这仍然不足以应对剧烈变化的环境,也不能主动适应不断变化的需求。”
新冲击
对于很多首席信息官而言,预测分析与机器学习(ML)和人工智能(AI)等过程相结合还是相对较新的概念。网络安全研究公司NSS实验室的高级主管Brian Soldato说:“这需要时间来验证新技术是否适合企业市场,目前在这一领域还处于早期发展阶段。具有预测分析功能的安全平台和端点技术得到了较多的应用。”
由于人工智能及相关领域的进步,预测分析在过去几年中得以飞速发展。Skymind公司是支持开源深度学习框架Deeplearning4j的人工智能开发商,该公司首席执行官Chris Nicholson说:“基于时间序列数据的预测,例如网络日志等,越来越准确,因此也更有用。”他指出:“准确度取决于数据集的质量。在一些问题上,深度学习能够把准确度提高两位数以上。”
Kastanis说,爱立信正在对网络进行预测分析优化调查。他说:“我们目前正在和不同的技术合作伙伴一起试验一些前沿技术,包括深度学习、决策理论和语义推理等,在人工智能的各种构成中,这些是最佳组合。”
Gianluca Noya是埃森哲的数字网络部署和分析主管,他认为,只需知道从现在到所要预测时间之前五倍跨度的历史信息,就有可能预测未来的网络行为,例如需求和服务体验等,准确度在95%以上。他说:“换句话说,要预测下个月的数据,您需要五个月前的历史数据。”
Noya说,计算能力和分布式存储的发展为不受限制的使用网络数据开辟了道路,但大多数网络运营商未能充分利用这些潜在的强大的资源。他说:“我们看到有很多在技术支持方面进行投资的早期试验,但是由于缺乏全面的方法,沒有考虑采用数据驱动运行模式带来的革命性影响,最终导致受挫。”
预测容量需求
SAS信息技术高级主管Steven Toy说,可靠地处理未来网络容量需求是一个相对简单的预测分析问题。他说:“找出您感兴趣的度量指标,采集网络容量数据,然后进行比较。”比如说,一家企业在达到75%的容量时就想升级电路。Toy说:“收集几个月的数据,并预测3到4个月后会怎样——这大概是提供新电路所需的时间。当分析显示您将在3到4个月内达到75%时,那就开始采购过程。”
Noya说,预测算法可以应用在数据流、服务、设备和用户行为上,实际上是把标准网络统计规划活动扩展应用到更多的网络和技术性能指标上。他说:“目前,容量规划方法依赖于经过技术供应商认证并由工程设计提供支持的参考性能KPI。人工智能/机器学习算法的应用使这种方法不断改进,其不断学习的过程进一步提高了性能,甚至超越了静态KPI方法。”
保证性能和质量
Noya说:“对于网络性能和质量问题,预测算法对分析进行多维度管理,确定哪些事件对结果的影响最大。”深度学习是网络性能/质量优化特别有用的工具。Nicholson说:“当您有一个包括了您要预测事件的记录数据集时,您就可以在这些数据上训练深度神经网络。”如果深度网络得到了适当的训练,它可以准确地预测这些事件什么时候会发生。他解释道:“例如,当您能准确预测容量问题时,您可以提前行动来平衡您的网络负载,进一步提高网络容量。”
据Toy表示,网络性能和质量问题类似于制造问题。他说:“制造过程的数据越多,就能够提供给维修中心更多的问题信息,您就越容易预测故障。”他说,“网络问题几乎是一样的。通过预测错误率来预测网络边缘和核心的故障和性能问题,根据日志预测组件的故障,并在出现问题之前采取行动。”
预测分析还可以根据使用类型来检查数据流模式趋势,并在发现可能要出现问题时提供早期预警。专业服务机构毕马威的首席信息官网络基础设施咨询主管Atif Mir说:“例如,使用UDP(用户数据报协议)的低优先级实时数据流在更高优先级数据流受到影响之前,就会开始出现性能问题。”他解释说:“一个好的、强有力的预测分析工具能够预测这种影响,如果得到授权,还可以进行修改以避免这种影响。”
主动安全
大多数网络都是通过具有入侵检测和数据包分析功能的防火墙来进行保护的。然而,攻击者变得越来越聪明,也越来越狡猾。Mir说:“如今的犯罪分子要老练得多,有时像企业一样有组织和赞助。网络主动防御需要一种完全不同的方法,而预测分析就是其中之一。”
预测分析使安全分析平台能够识别系统、设备和/或用户的异常行为。Soldato说:“这填补了急需填补的空白。采用NGFW(下一代防火墙)和端点技术、预测分析等等,通过识别一个文件在下载和执行时的行为,即使是简单的保存行为,确定文件应该干什么,不应该干什么,主动识别潜在的外部威胁,甚至是零日威胁。”
能够减轻内部威胁风险和快速检测安全隐患比以往任何时候都更为重要,而预测分析可以提供那些想不被人们发现的犯罪线索。Toy说:“预测分析结合NetFlow或者sflow数据,可以帮助衡量网络上设备的风险(包括最终用户),预测哪些是最危险的。”Toy指出,“网络泄露事件的成本通常是几百万美元。泄露事件发现得越快,并及早进行纠正,成本就越低,对企业声誉的影响也就越小。” 控制成本
当可以选择多种技术时,对网络定价结构进行比较显得非常复杂。Mir说:“软件定义网络(SDN)与预测分析相结合,有助于简化预测,调整网络成本。”
Soldato说:“实施了预测分析功能的分析平台,由于能够获取并处理大量的网络数据,因此可以帮助预测网络成本。”预测分析是一种前瞻性的预测技术,其平台允许企业以可视化的方式预见未来几个月甚至几年后的网络使用、性能和质量情况。他指出:“反过来,这也有助于企业准备和预测网络升级、新设备和人员。”
Noya指出,作为网络成本预测的前提条件,有必要建立网络配置成本基础,确定具体技术服务和最终客户产品的成本,包括资本支出(CAPEX)和运营支出(OPEX)等。他说:“对于网络单元支持多种产品和服务的融合运营商来说,这个过程比较困难,但最终要准确地理解产品和服务的总体拥有成本。”网络库存还应与采购目录相匹配,以便在网络设计、网络容量和扩展成本之间保持连续性。Noya说:“利用网络预测容量分析结果来理解未来的成本。”
开始工作
为任何形式的网络优化部署预测分析的第一步是收集和整理明确知道的历史问题。物联网(IoT)软件开发商Greenwave Systems公司副总裁兼工程系统架构师John Crupi说:“您必须知道正常功能的构成,才能识别出什么是不正常的。”他解释说:“性能问题集中出现可能是正常的,这取决于网络特性,也可能是要出现严重问题的早期征兆。”
首席信息官们还需要制定与业务需求相关的预测分析策略和路线图。Mir说:“在这一策略内,设置一个能进行概念验证的可实现的目标。下一步是找出导致出现变化的所有因素,并获取与变化相关的所有数据/日志。”
Crupi说:“开始使用预测分析的最好方法不是从预测分析开始,而是要先理解和识别系统中的行为模式。这些模式为应用预测分析奠定了基础。”
Kastanis建议,一旦部署了预测分析平台,就可以为机器学习模型提供大量的训练数据。然后依靠人类专家来验证最初的预测,并在专家的批准下对网络进行修改,直到机器学习模型的精确度一直高于基本期望值。Kastanis说:“除非有可靠的案例研究证明了机器学习模型的准确性,否则运营商会怀疑是否值得冒险让机器学习模型对对网络进行修改,以实现自主网络管理。”
值得努力的工作
Crupi說,预测分析不是一个解决方案,而是战略工具。他指出:“这只是整套分析工具的一部分。”
Crupi说:“很多企业希望马上采用预测分析,立即开始训练模型来预测故障。”这真不是个好主意。他解释说:“训练一个预测模型需要大量的数据,并要求数据科学家掌握了历史背景。最好从基本分析和可视化开始,这样您就可以开始‘看到’正在发生的事情。”
Kastanis说,回忆自己的经历,预测分析所带来的好处值得我们付出时间和精力去构建和部署该技术。他说:“这是非常好的概念,能够显著地稳定网络性能,优化网络管理的OpEx,从而提高了网络管理效率。”
原文网址:
http://www.cio.com/article/3207569/predictive-analytics/predictive-analytics-your-key-to-preventing-network-failures.html
强大的新工具支持可操作的深度分析,取代了水晶球式的预测。
识别和确定潜在的网络故障和性能问题一直是根据现状而进行猜测,而新一代的预测分析工具有望能更准确可靠的预测网络,工作人员在具体问题开始影响网络运行之前就能够解决和纠正这些问题。
预测分析改变了游戏规则,使首席信息官们能够真正地展望未来。爱立信的技术和创新主管Diomedes Kastanis说:“网络应适应不断变化的应用程序需求,动态地处理特殊事件、季节性问题等,对这方面的要求越来越高。虽然我们有很多自动化系统和规则来管理和运行网络,但这仍然不足以应对剧烈变化的环境,也不能主动适应不断变化的需求。”
新冲击
对于很多首席信息官而言,预测分析与机器学习(ML)和人工智能(AI)等过程相结合还是相对较新的概念。网络安全研究公司NSS实验室的高级主管Brian Soldato说:“这需要时间来验证新技术是否适合企业市场,目前在这一领域还处于早期发展阶段。具有预测分析功能的安全平台和端点技术得到了较多的应用。”
由于人工智能及相关领域的进步,预测分析在过去几年中得以飞速发展。Skymind公司是支持开源深度学习框架Deeplearning4j的人工智能开发商,该公司首席执行官Chris Nicholson说:“基于时间序列数据的预测,例如网络日志等,越来越准确,因此也更有用。”他指出:“准确度取决于数据集的质量。在一些问题上,深度学习能够把准确度提高两位数以上。”
Kastanis说,爱立信正在对网络进行预测分析优化调查。他说:“我们目前正在和不同的技术合作伙伴一起试验一些前沿技术,包括深度学习、决策理论和语义推理等,在人工智能的各种构成中,这些是最佳组合。”
Gianluca Noya是埃森哲的数字网络部署和分析主管,他认为,只需知道从现在到所要预测时间之前五倍跨度的历史信息,就有可能预测未来的网络行为,例如需求和服务体验等,准确度在95%以上。他说:“换句话说,要预测下个月的数据,您需要五个月前的历史数据。”
Noya说,计算能力和分布式存储的发展为不受限制的使用网络数据开辟了道路,但大多数网络运营商未能充分利用这些潜在的强大的资源。他说:“我们看到有很多在技术支持方面进行投资的早期试验,但是由于缺乏全面的方法,沒有考虑采用数据驱动运行模式带来的革命性影响,最终导致受挫。”
预测容量需求
SAS信息技术高级主管Steven Toy说,可靠地处理未来网络容量需求是一个相对简单的预测分析问题。他说:“找出您感兴趣的度量指标,采集网络容量数据,然后进行比较。”比如说,一家企业在达到75%的容量时就想升级电路。Toy说:“收集几个月的数据,并预测3到4个月后会怎样——这大概是提供新电路所需的时间。当分析显示您将在3到4个月内达到75%时,那就开始采购过程。”
Noya说,预测算法可以应用在数据流、服务、设备和用户行为上,实际上是把标准网络统计规划活动扩展应用到更多的网络和技术性能指标上。他说:“目前,容量规划方法依赖于经过技术供应商认证并由工程设计提供支持的参考性能KPI。人工智能/机器学习算法的应用使这种方法不断改进,其不断学习的过程进一步提高了性能,甚至超越了静态KPI方法。”
保证性能和质量
Noya说:“对于网络性能和质量问题,预测算法对分析进行多维度管理,确定哪些事件对结果的影响最大。”深度学习是网络性能/质量优化特别有用的工具。Nicholson说:“当您有一个包括了您要预测事件的记录数据集时,您就可以在这些数据上训练深度神经网络。”如果深度网络得到了适当的训练,它可以准确地预测这些事件什么时候会发生。他解释道:“例如,当您能准确预测容量问题时,您可以提前行动来平衡您的网络负载,进一步提高网络容量。”
据Toy表示,网络性能和质量问题类似于制造问题。他说:“制造过程的数据越多,就能够提供给维修中心更多的问题信息,您就越容易预测故障。”他说,“网络问题几乎是一样的。通过预测错误率来预测网络边缘和核心的故障和性能问题,根据日志预测组件的故障,并在出现问题之前采取行动。”
预测分析还可以根据使用类型来检查数据流模式趋势,并在发现可能要出现问题时提供早期预警。专业服务机构毕马威的首席信息官网络基础设施咨询主管Atif Mir说:“例如,使用UDP(用户数据报协议)的低优先级实时数据流在更高优先级数据流受到影响之前,就会开始出现性能问题。”他解释说:“一个好的、强有力的预测分析工具能够预测这种影响,如果得到授权,还可以进行修改以避免这种影响。”
主动安全
大多数网络都是通过具有入侵检测和数据包分析功能的防火墙来进行保护的。然而,攻击者变得越来越聪明,也越来越狡猾。Mir说:“如今的犯罪分子要老练得多,有时像企业一样有组织和赞助。网络主动防御需要一种完全不同的方法,而预测分析就是其中之一。”
预测分析使安全分析平台能够识别系统、设备和/或用户的异常行为。Soldato说:“这填补了急需填补的空白。采用NGFW(下一代防火墙)和端点技术、预测分析等等,通过识别一个文件在下载和执行时的行为,即使是简单的保存行为,确定文件应该干什么,不应该干什么,主动识别潜在的外部威胁,甚至是零日威胁。”
能够减轻内部威胁风险和快速检测安全隐患比以往任何时候都更为重要,而预测分析可以提供那些想不被人们发现的犯罪线索。Toy说:“预测分析结合NetFlow或者sflow数据,可以帮助衡量网络上设备的风险(包括最终用户),预测哪些是最危险的。”Toy指出,“网络泄露事件的成本通常是几百万美元。泄露事件发现得越快,并及早进行纠正,成本就越低,对企业声誉的影响也就越小。” 控制成本
当可以选择多种技术时,对网络定价结构进行比较显得非常复杂。Mir说:“软件定义网络(SDN)与预测分析相结合,有助于简化预测,调整网络成本。”
Soldato说:“实施了预测分析功能的分析平台,由于能够获取并处理大量的网络数据,因此可以帮助预测网络成本。”预测分析是一种前瞻性的预测技术,其平台允许企业以可视化的方式预见未来几个月甚至几年后的网络使用、性能和质量情况。他指出:“反过来,这也有助于企业准备和预测网络升级、新设备和人员。”
Noya指出,作为网络成本预测的前提条件,有必要建立网络配置成本基础,确定具体技术服务和最终客户产品的成本,包括资本支出(CAPEX)和运营支出(OPEX)等。他说:“对于网络单元支持多种产品和服务的融合运营商来说,这个过程比较困难,但最终要准确地理解产品和服务的总体拥有成本。”网络库存还应与采购目录相匹配,以便在网络设计、网络容量和扩展成本之间保持连续性。Noya说:“利用网络预测容量分析结果来理解未来的成本。”
开始工作
为任何形式的网络优化部署预测分析的第一步是收集和整理明确知道的历史问题。物联网(IoT)软件开发商Greenwave Systems公司副总裁兼工程系统架构师John Crupi说:“您必须知道正常功能的构成,才能识别出什么是不正常的。”他解释说:“性能问题集中出现可能是正常的,这取决于网络特性,也可能是要出现严重问题的早期征兆。”
首席信息官们还需要制定与业务需求相关的预测分析策略和路线图。Mir说:“在这一策略内,设置一个能进行概念验证的可实现的目标。下一步是找出导致出现变化的所有因素,并获取与变化相关的所有数据/日志。”
Crupi说:“开始使用预测分析的最好方法不是从预测分析开始,而是要先理解和识别系统中的行为模式。这些模式为应用预测分析奠定了基础。”
Kastanis建议,一旦部署了预测分析平台,就可以为机器学习模型提供大量的训练数据。然后依靠人类专家来验证最初的预测,并在专家的批准下对网络进行修改,直到机器学习模型的精确度一直高于基本期望值。Kastanis说:“除非有可靠的案例研究证明了机器学习模型的准确性,否则运营商会怀疑是否值得冒险让机器学习模型对对网络进行修改,以实现自主网络管理。”
值得努力的工作
Crupi說,预测分析不是一个解决方案,而是战略工具。他指出:“这只是整套分析工具的一部分。”
Crupi说:“很多企业希望马上采用预测分析,立即开始训练模型来预测故障。”这真不是个好主意。他解释说:“训练一个预测模型需要大量的数据,并要求数据科学家掌握了历史背景。最好从基本分析和可视化开始,这样您就可以开始‘看到’正在发生的事情。”
Kastanis说,回忆自己的经历,预测分析所带来的好处值得我们付出时间和精力去构建和部署该技术。他说:“这是非常好的概念,能够显著地稳定网络性能,优化网络管理的OpEx,从而提高了网络管理效率。”
原文网址:
http://www.cio.com/article/3207569/predictive-analytics/predictive-analytics-your-key-to-preventing-network-failures.html