论文部分内容阅读
不知道你还记不记得“烽火戏诸侯”的故事,在古代,烽火台会根据不同的敌情传递不同颜色、浓度等形式的狼烟,完成最原始的情报监测和传递。到了《长安十二时辰》里,情报监测和传递的黑科技玩得更溜了:长安城108坊,每300步设1望楼。遍布整个长安的瞭望塔,楼上的兵卒时刻俯视街面;如发现任何异常,立刻向临近望楼传递信息,一楼接一楼,片刻即可传回靖安司总部,呈于李必面前。有的观众不服气了,这都是马伯庸和编剧瞎编的:“望楼在唐代是有的,但它只是野战时军营里搭建的瞭望塔,一般是由木头搭建的。电视剧里的情节应该是作者虚构的,它可以起到瞭望作用,但不叫望楼,也没有那么复杂的信号系统。”好吧,虽然历史上的“情报的监测与传递”没有电视剧这么酷炫,但“情报监测”演化到现代企业的攻防对战中,可要比电视剧华丽多了。13年前,有一家叫作网神的安全公司推出了国内最早的安全管理平台(SOC),那会儿传统SOC 经历了“烽火台”一般的初期发展,主要对企业的安全日志进行分析,然后促进一下合规管理。 “烽火台”——传统 SOC 慢慢发展,10年后,2016 年奇安信(网神母公司)推出了其中一个“迭代版”——新一代态势感知与安全运营平台(NGSOC)。NGSOC 终于达到了比“剧版望楼”更黑的黑科技成就:应用大数据、威胁情报、流量分析和机器学习等多项新技术,对海量日志实现存储计算、高级威胁检测及响应处置闭环。而且,它是能动手就绝不哔哔的实干派。奇安信集团大数据与安全运营公司总经理马江波称,NGSOC 更重要的是支撑实战化的安全运营工作,经过了200多家企业实际使用的盖章认定。在一次实战化攻防演练的过程中,NGSOC 作为部分政企机构的安全攻防作战平台,发现了数百起攻击行为。至此,你可以把它理解为,这次“剧版望楼”终于运用到了现实生活中。
放羊的孩子也很难
这要从企业资产中数据越来越值钱开始说起。自打黑客和内鬼纷纷认识到了数据的重要性,他们的黑手就伸过来了。里外都有黑手盯着自家宝贵的数据,企业也很头疼,一旦重要数据因为网络攻击或是意外事件而泄露,将会导致组织的数据资产和声誉遭受严重损失。这是第一个需求。第二,外部攻击越来越厉害了。厉害到什么程度?以前,可能只是小毛贼黑客单兵作战,现在他们的攻击越来越组织化——黑客组团出击,分工明确,目标长远,现在在网络上已形成了制造木马、传播木马、盗窃账户信息、第三方平台销赃、洗钱这一分工明确的网上黑色产业链。企业已经不能够再像以前一样防御这种武器和黑客的进攻,单纯地被动防守已经扛不住了。监测、防御、响应和预警得一条龙跟上来,主动地发现自家的薄弱之处,实现主动防御。而第三个不得不面临的大环境是,新的法律法规明确提出了安全监测预警的要求。不是吓你,捅了娄子就要被警察叔叔抓进去,就问你担心不担心?企业可能面临这种终极困扰的人生哲学:你说得都对,但是到底什么是主动防御,什么是监测、防御、响应和预警形成闭环?我们以两类处置方法进行对比:第一种,听到了狼的叫声,狼好像朝这边过来了,放羊的小孩自己干不过狼,他想直接去叫村里的防卫队过来,但没有权限,人家说一个小孩懂什么,万一不是狼你听错了怎么办?当然是要听村长的命令。小孩只能去找村长,谁想到村长正在开会,谁也不能打扰,等到村长开完会找人处置时,羊圈已经被扫得一干二净。第二种,狼来了,村里安置了报警器和各种自动的陷阱,狼一踏进来就被捉了。“过去攻击来了,判断后你要找一个安全研究员,把防火墙再加强,这个周期非常长,现在检测出攻击以后,第一反应就是阻断,一键响应,自动给防火墙下指令,阻断这个报警,这就是一种主动防御的能力。”马江波说。另一层主动防御是,小孩长大了,具备了自己分析判断的能力,可以自己进行不太复杂的判断,减轻村长判断的负担,只有在情况比较复杂时才需要村长出马。“NGSOC把调查的上下文为安全分析的人准备好,比如相关的流量,甚至终端日志的多维度关联,让安全分析员的效率有很大的提升,这是一种主动。”马江波说,在这错综复杂的分析中,一部分是自动处置,其他依靠人工,但这已经大大减轻了安全分析员的工作量,但在本质上,要建立以人为中心的安全监测预警体系。
高阶“望楼”也有难处
说了半天,还是需要高级分析人员的参与?是的,但我们先看看NGSOC还能为人做些什么。马江波称,NGSOC建立在大数据技术架构之上,运用 Hadoop、Spark、ES等大数据组件,解决海量数据的采集、存储和计算的难题。传统的数据库只能处理亿级数据且查询速度在分钟级,以前可能安全分析人员抽了根烟回来,平台还没算完,但现在NGSOC支持分布式大数据架构,可以处理百亿级数据,查询速度达到秒级,这是第一个技术创新点。第二个创新点是,将威胁情报和全流量分析技术引入安全运营平台。第三个是搭载首个分布式事件关联引擎,关联引擎每秒可以处理高达10万条安全事件,支持弹性业务扩展,也就是说将两件看上去没什么关系的事情挖个底朝天,結果发现了其中的勾连,就好比让人的思维发散式延展,平台自动帮你呈现其中的关系,建立精准的模型。马江波提到,NGSOC是重服务的——以人为核心的安全运营服务,但是一般企业哪有那么多经验丰富的高级分析人员?NGSOC的客户属于政企端,客户将大数据严严实实地揣在怀里,要想通过第三方供应商运营分析数据,很多客户犹豫了。但是,总体上高级运营分析人员数量有限,到底分配给谁?马江波原来想的是,在每一个省建立一个一级运营中心,大概配备10人的高级分析团队,在市级设立二级驻场分析人员,因为这些政企单位在省和市的内部通道可以打通,那么,二级的数据可以流向一级,一级的分析能力能流向二级,这样的模式能从一定程度上打消客户的顾虑。这种模式目前还在试行中。但是,NGSOC 运营服务的终极思路还是“云端运营”:实现30%—40%的云端运营,客户有疑问时,派高级分析人员实地“上课”。面对谨慎的客户,马江波还想再劝说一下:“如果甲方慢慢认可这种模式,其实对他们的响应效率、能力的提升、成本的降低都有帮助的。真正运营起来需要的是人才,人才不足的情况下,企业也应该解决人才匮乏的问题,为什么我们不做呢?我觉得不光对乙方好,对甲方也好。”NGSOC在为这种终极思路铺路:奇安信在青岛和绵阳的安全人才培训基地招募了很多种子选手,计划在2019年培养超过1500名安全服务工程师。“现在这些种子选手像学徒一样进入中心和高级的人才在一起。如果能够坚持下来,他们不就慢慢从初级变成中级了嘛。”在人不够和急需人的矛盾下,NGSOC 的另一个目标是自动化响应。马江波说,这事马上就提上日程,2020年上半年,NGSOC计划推出SOAR组件。除了人和工具,企业要想真的用好安全运营平台,日常随手拎出潜伏的妖魔鬼怪,还要靠自己。睿智的将军看清了一切,做好了神勇的决策,但是调动不了士兵作战,这是将军的悲剧,也是大厦倾覆的前兆。
放羊的孩子也很难
这要从企业资产中数据越来越值钱开始说起。自打黑客和内鬼纷纷认识到了数据的重要性,他们的黑手就伸过来了。里外都有黑手盯着自家宝贵的数据,企业也很头疼,一旦重要数据因为网络攻击或是意外事件而泄露,将会导致组织的数据资产和声誉遭受严重损失。这是第一个需求。第二,外部攻击越来越厉害了。厉害到什么程度?以前,可能只是小毛贼黑客单兵作战,现在他们的攻击越来越组织化——黑客组团出击,分工明确,目标长远,现在在网络上已形成了制造木马、传播木马、盗窃账户信息、第三方平台销赃、洗钱这一分工明确的网上黑色产业链。企业已经不能够再像以前一样防御这种武器和黑客的进攻,单纯地被动防守已经扛不住了。监测、防御、响应和预警得一条龙跟上来,主动地发现自家的薄弱之处,实现主动防御。而第三个不得不面临的大环境是,新的法律法规明确提出了安全监测预警的要求。不是吓你,捅了娄子就要被警察叔叔抓进去,就问你担心不担心?企业可能面临这种终极困扰的人生哲学:你说得都对,但是到底什么是主动防御,什么是监测、防御、响应和预警形成闭环?我们以两类处置方法进行对比:第一种,听到了狼的叫声,狼好像朝这边过来了,放羊的小孩自己干不过狼,他想直接去叫村里的防卫队过来,但没有权限,人家说一个小孩懂什么,万一不是狼你听错了怎么办?当然是要听村长的命令。小孩只能去找村长,谁想到村长正在开会,谁也不能打扰,等到村长开完会找人处置时,羊圈已经被扫得一干二净。第二种,狼来了,村里安置了报警器和各种自动的陷阱,狼一踏进来就被捉了。“过去攻击来了,判断后你要找一个安全研究员,把防火墙再加强,这个周期非常长,现在检测出攻击以后,第一反应就是阻断,一键响应,自动给防火墙下指令,阻断这个报警,这就是一种主动防御的能力。”马江波说。另一层主动防御是,小孩长大了,具备了自己分析判断的能力,可以自己进行不太复杂的判断,减轻村长判断的负担,只有在情况比较复杂时才需要村长出马。“NGSOC把调查的上下文为安全分析的人准备好,比如相关的流量,甚至终端日志的多维度关联,让安全分析员的效率有很大的提升,这是一种主动。”马江波说,在这错综复杂的分析中,一部分是自动处置,其他依靠人工,但这已经大大减轻了安全分析员的工作量,但在本质上,要建立以人为中心的安全监测预警体系。
高阶“望楼”也有难处
说了半天,还是需要高级分析人员的参与?是的,但我们先看看NGSOC还能为人做些什么。马江波称,NGSOC建立在大数据技术架构之上,运用 Hadoop、Spark、ES等大数据组件,解决海量数据的采集、存储和计算的难题。传统的数据库只能处理亿级数据且查询速度在分钟级,以前可能安全分析人员抽了根烟回来,平台还没算完,但现在NGSOC支持分布式大数据架构,可以处理百亿级数据,查询速度达到秒级,这是第一个技术创新点。第二个创新点是,将威胁情报和全流量分析技术引入安全运营平台。第三个是搭载首个分布式事件关联引擎,关联引擎每秒可以处理高达10万条安全事件,支持弹性业务扩展,也就是说将两件看上去没什么关系的事情挖个底朝天,結果发现了其中的勾连,就好比让人的思维发散式延展,平台自动帮你呈现其中的关系,建立精准的模型。马江波提到,NGSOC是重服务的——以人为核心的安全运营服务,但是一般企业哪有那么多经验丰富的高级分析人员?NGSOC的客户属于政企端,客户将大数据严严实实地揣在怀里,要想通过第三方供应商运营分析数据,很多客户犹豫了。但是,总体上高级运营分析人员数量有限,到底分配给谁?马江波原来想的是,在每一个省建立一个一级运营中心,大概配备10人的高级分析团队,在市级设立二级驻场分析人员,因为这些政企单位在省和市的内部通道可以打通,那么,二级的数据可以流向一级,一级的分析能力能流向二级,这样的模式能从一定程度上打消客户的顾虑。这种模式目前还在试行中。但是,NGSOC 运营服务的终极思路还是“云端运营”:实现30%—40%的云端运营,客户有疑问时,派高级分析人员实地“上课”。面对谨慎的客户,马江波还想再劝说一下:“如果甲方慢慢认可这种模式,其实对他们的响应效率、能力的提升、成本的降低都有帮助的。真正运营起来需要的是人才,人才不足的情况下,企业也应该解决人才匮乏的问题,为什么我们不做呢?我觉得不光对乙方好,对甲方也好。”NGSOC在为这种终极思路铺路:奇安信在青岛和绵阳的安全人才培训基地招募了很多种子选手,计划在2019年培养超过1500名安全服务工程师。“现在这些种子选手像学徒一样进入中心和高级的人才在一起。如果能够坚持下来,他们不就慢慢从初级变成中级了嘛。”在人不够和急需人的矛盾下,NGSOC 的另一个目标是自动化响应。马江波说,这事马上就提上日程,2020年上半年,NGSOC计划推出SOAR组件。除了人和工具,企业要想真的用好安全运营平台,日常随手拎出潜伏的妖魔鬼怪,还要靠自己。睿智的将军看清了一切,做好了神勇的决策,但是调动不了士兵作战,这是将军的悲剧,也是大厦倾覆的前兆。