论文部分内容阅读
摘要：随着互联网DDOS安全问题的日益突出，运营商以城域网为载体的安全清洗服务受到欢迎。由于传统串接模式存在较多弊端，运营商希望构架集中部署的旁路安全平台，但旁路对引回流技术要求很高实现困难。本文详细介绍了一种特定策略组合的引回流方案，综合BGP、路由表多实例、PBR等技术，具备实施成本低、自动化程度高且易于实现的特点，为运营商构建安全平台提供了很好的技术思路。
关键词：DDOS；引回流；PBR；多实例化
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）24-0251-03
分布式拒绝服务型攻击（Distributed Denial of Services，简称DDoS攻击）、应用层攻击、渗透和入侵、病毒等是目前互联网中存在的最常见、危害性最大的攻击形式。网络攻击不但会给各类互联网用户和服务提供商带来业务中断、系统瘫痪、企业机密外泄等严重后果，攻击也严重威胁到电信运营商基础设施的安全，造成网络拥塞，使客户服务质量下降。
近年来，随着互联网应用的不断增加，各类网络攻击事件的频发，用户对互联网安全开始逐渐重视，面向互联网产品提供安全防护业务的需求与日俱增。据市场研究公司Gartner最新发表的研究报告称，2013年全球基于云的安全服务市场规模已达到21亿美元，预计到2016年将增长到42亿美元。
主流DDOS攻击特征为大流量的带宽冲击，黑客调用的攻击流量甚至高达几百Gbps/s，对此企业网自身防护能力有限，需要依托于电信运营商骨干网、城域网的超大网络吞吐能力，给政企用户提供DDOS流量的封堵、清洗服务。
本文以上海电信旁路安全平台为例，剖析城域网安全平台集中部署中最关键引回流技术的实现。
1 安全平台部署模式分析
1.1 传统串接模式的弊端
传统部署模式在政企专线中串接专用的DDOS清洗设备或者防火墙等设备，对于企业网的内外部流量进行流特征分析、速率限制、端口限制、异常报文控制等管控策略，以实现内部安全防护功能。由于串接设备无法清洗上层攻击流量，接入带宽仍会产生拥塞并影响使用，因此该类模式较适用于安全边界的内容风险管控，但不适用于DDOS大流量攻击防护。
对运营商构建安全产品而言，串接模式同样弊端较多：
1） 单点故障 由于防护设备串接在电信设备和客户设备之间的链路上，增加了故障点，如果防护设备出现故障，则会影响客户业务
2） 成本高昂 由于防护设备串接在客户链路中，因此只能为单个客户使用，不具备扩展性，造成部署成本高昂
3） 升级平滑性差 一旦安全设备无法满足用户新需求，需要新增、替换设备或者版本变更，则需要大量用户端设备割接，对用户影响大。
1.2 上海电信旁路安全平台介绍
业界主流思路是运营商以城域网或者骨干网为单位部署统一的旁路安全平台，覆盖本地网所有Internet用户，集中提供流量分析、安全预警、黑洞路由封堵、DDOS流量清洗等安全服务，用户共享安全池能力。
旁路模式基于城域网核心层提供大带宽流量清洗能力，建设成本低，管理维护方便，易于后期能力扩充和功能延伸。平时客户流量并不经过该平台，待有攻击时再通过引流的方式将客户流量引入防护平台，清洗完成后再通过回流方式将客户流量导回至客户网络，完成整个清洗过程。
上海电信旁路安全平台利用BGP引流、PBR回流模式搭建的DDOS防护平台。在管理维护上实现了网管统一开通、统一配置、统一维护的界面管理，并针对客户需求开发了客户自服务、黑洞路由API接口等创新功能。
如图1所示，目前上海电信DDOS防护平台共部署三台Cisco 7609设备，定义为引流路由器角色。下挂C公司Guard和A公司 TMS防护设备。每台7609分别通过4条10GE链路与4台上海电信城域网核心出口路由器相连。
清洗系统总能力达到96G，后续基于该平台可以持续扩容。
2 引回流技术介绍
旁路模式关键就是用户入流量的引回流技术，作用为将攻击用户的异常流量引导到旁路平台，完成安全清洗后重新送回到用户侧。
2.1 基于BGP的引流技术
引流一般是采用BGP路由的方式，由防护平台广播/32的引流路由给核心路由器，将流量引导至防护平台。
如图2所示，安全平台中CISCO 7609路由器作为引流路由器，与城域网核心路由器之间建立EBGP邻居关系，一旦被防护用户被DDOS流量攻击需要开启防护功能，首先通过netflow流分析系统定位用户被攻击IP地址，由引流路由器向核心路由器发布一条/32的被攻击地址路由信息，核心路由器会同时学习到用户正常的专线路由和该/32引导路由，基于明细路由原则将攻击流量从核心路由器侧引导到安全平台。
由于DDOS攻击流量大部分来自于城域网外部，因此核心路由器为引回流的主要实施点，为避免下联汇聚层、业务层设备受/32路由影响引起路由环路，该/32 BGP路由需要叠加No_Advertise属性及一个专用的community（比如设定为A），确保只在核心路由器生效，不下发给汇聚层、业务层等设备。
2.2 回流技术的选择与创新
回流技术主要就是解决核心路由器的环路问题：引流需要DDOS防护平台产生/32引流路由，清洗后的流量由防护平台导回核心路由器后，如果不做任何处理，则会被/32引流路由再吸回防护平台，形成路由环路。
传统模式为了避免路由环路，就需要采用GRE Tunnel、PBR策略路由等方式，将流量引导回用户网络。但这些方式往往配置过于复杂，维护不便，扩展性也不佳，弊端较多：
1） 物理线路的回流方式：被保护的用户网络和清洗平台之间用物理线路（如光纤）进行连接，发生攻击时，将攻击流量引到防火墙系统内进行清洗，清洗后的干净流量再通过互连线路回注到用户网络。该方式的主要弊端是需要大量物理光纤资源，资源消耗较大、成本高昂。 2）GRE Tunnel回流方式：被保护的用户网络和清洗平台之间建立GRE Tunnel，清洗后的干净流量通过隧道回注到用户网络。该方式的主要弊端是配置复杂，每个客户都需要开通一条隧道，对设备的性能影响也较大。
3） 传统PBR策略路由回流方式：该方式是将清洗后的干净流量再回到核心路由器，然后在核心路由器上通过PBR策略路由的方式，将流量引导回被保护的用户网络。该方式的主要弊端也是配置复杂，每个客户都需要配置相应的策略路由，后期的维护极为不易。
上海电信为了解决路由环路的问题，经过对城域网结构的广泛研究和设备特性的深入了解，基于Juniper路由器平台创新使用了一套特殊策略，该方案投入成本低，自动化程度高，解决了传统模式存在的缺点，基本原理如下：
1） 引流路由器VRF化：
引流路由器不仅承担核心路由器流量的引导作用，同时负责将异常流量推送给DDOS清洗设备，引流路由器和DDOS清洗设备之间建立IBGP关系，同样通过BGP路由将流量送至清洗设备予以处理，因此清洗设备是实际/32 BGP路由的发起者，流量清洗完成将清洁流量再次回送给引流路由器。
引流路由器为此需要建立两张local VRF转发表，分别对应引流和回流实现转发隔离，确保回流流量不再受引流路由影响。
2） 核心路由器的路由表多实例化
Juniper路由器采用JUNOS软件系统，该平台非常优秀的一个特性就是支持routing instance多实例化。每个routing instance代表一套独立的路由表集、接口和路由协议参数。缺省情况下JUNOS具有默认路由instance，按照协议栈属性分别inet.0（ipv4）、inet.6（ipv6）等路由表。用户可以自行定义新instance实例用于路由转发、VRF、L2vpn、VPLS等各类应用。
首先在Juniper核心路由器上新建clean-instance为回流路由实例，该实例会自动生成clean-instance.inet.0（ipv4路由表）。
然后利用rib-group功能实现各类路由协议到默认路由实例inet.0路由表和回流实例clean-instance.inet.0路由表的的输入功能。JunOS的Rib-group功能可以定义一个路由表组，该路由组可以包含多个不同实例的路由表，凡是关联在该路由组的路由协议可以与该组中的路由表相互进行输入输出操作，可以配置police策略控制输入输出实现用户自定义路由选路的目的（路由协议关联中ISIS＼OSPF等IGP协议为整体关联，BGP协议支持邻居adj下关联学习）。
默认实例inet.0由于是基础转发表，作为核心路由器主要的转发寻址表，无需控制采用全路由协议输入。而clean-instance.inet.0路由表最为关键，需配置police策略匹配BGP路由，拒绝输入带有专用community A的路由，从而生成无/32引流路由的clean-instance.inet.0路由表，提供回流接口的PBR策略使用。
最后在回流接口上应用input-list的重定向策略，将该端口收到的用户流量全部定向到clean-instance.inet.0路由表，由于该路由表没有/32引流路由，因此会按照正常用户路由转发到用户侧，从而解决核心路由器的路由环路问题。
3） 引流路由器自动化回流
以上技术可以实现安全平台对用户DDOS流量的引导和回送，在多核心路由器环境下，引流路由器中回流VRF中缺乏用户路由信息以实现就近的核心回送，采用静态路由的方式又增加人工配置量，且无法与用户路由变动进行关联。
为解决这个问题，在引流路由器回流VRF中建立与核心路由器的EBGP关系，核心路由器发送clean-instance.inet.0路由信息从而让回流VRF中生成用户路由信息，为确保最近回流，核心路由器需在BGP路由中叠加IGP cost路径权重，引流路由器通过多核心发送的用户路由择优出用户回程路由。
以上引回流技术为上海电信依托于现网架构和核心路由器设备能力所设计出一套自动化方案，应该说对于旁路平台建设和DDOS业务全网实现提供了网络基础。该技术应用已经非常成熟，对于城域网防御DDOS类攻击，满足用户安全接入要求发挥了重要作用。
2.3 引回流技术的多厂商实现
多实例路由表方式与设备厂商密切相关，对于非Juniper品牌的核心路由器则无法使用，而主流厂商也逐渐在自身路由系统上开发了”BGPDynamicVRFRouteLeaking”增强技术，通过业务改造也可以提供引回流能力。
BGP VRF leaking基于local-VRF技术，构建类似于多实例路由表的专用回程VRF，leaking技术则可以将默认路由表中的BGP路由泄露到该VRF中，泄露中通过控制策略将专用community的/32引流路由拒绝输入VRF，最后将回流端口绑定到该VRF中替代JunOS的PBR重定向方式。
该技术在上海电信城域网也已经完整应用，实现了与Juniper设备一致的回流能力，主流厂商如思科、华为公司的核心路由器都已经支持该技术。
3 结束语
随着互联网安全服务型产品的发展，运营商希望能够在DDOS清洗产品基础上，在旁路安全平台上叠加更丰富的服务类型，尤其是防火墙内容检测、应用防护等功能，而这些服务能力需要用户出入流量的双向引导才能实现。现有引回流技术只能实现用户入流量的单向引导，不能提供用户出流量的引导能力，安全服务产品的发展受到制约。
这方面业界也在研究基于用户源地址的引流方案，尤其是QPPB技术和flowspec技术，这两类技术都可以通过BGP路由识别用户源地址并实施重定向等操作，flowspec更具备类SDN理念能提供板卡级别的flow流操作能力，亦是今后的引回流技术的发展方向，当前受制于技术成熟度和厂商兼容性，应考虑实验室测试和局部试点来摸索应用模式。
参考文献：
[1] Zhang R，Bartell M.BGP设计与实现[M].黄博，葛建立，译.北京：人民邮电出版社，2008
[2] DDoS分散式阻断服务攻击深度解析[M].碁峰资讯股份有限公司
[3] RIB Group White Paper[M].Juniper公司
关键词：DDOS；引回流；PBR；多实例化
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）24-0251-03
分布式拒绝服务型攻击（Distributed Denial of Services，简称DDoS攻击）、应用层攻击、渗透和入侵、病毒等是目前互联网中存在的最常见、危害性最大的攻击形式。网络攻击不但会给各类互联网用户和服务提供商带来业务中断、系统瘫痪、企业机密外泄等严重后果，攻击也严重威胁到电信运营商基础设施的安全，造成网络拥塞，使客户服务质量下降。
近年来，随着互联网应用的不断增加，各类网络攻击事件的频发，用户对互联网安全开始逐渐重视，面向互联网产品提供安全防护业务的需求与日俱增。据市场研究公司Gartner最新发表的研究报告称，2013年全球基于云的安全服务市场规模已达到21亿美元，预计到2016年将增长到42亿美元。
主流DDOS攻击特征为大流量的带宽冲击，黑客调用的攻击流量甚至高达几百Gbps/s，对此企业网自身防护能力有限，需要依托于电信运营商骨干网、城域网的超大网络吞吐能力，给政企用户提供DDOS流量的封堵、清洗服务。
本文以上海电信旁路安全平台为例，剖析城域网安全平台集中部署中最关键引回流技术的实现。
1 安全平台部署模式分析
1.1 传统串接模式的弊端
传统部署模式在政企专线中串接专用的DDOS清洗设备或者防火墙等设备，对于企业网的内外部流量进行流特征分析、速率限制、端口限制、异常报文控制等管控策略，以实现内部安全防护功能。由于串接设备无法清洗上层攻击流量，接入带宽仍会产生拥塞并影响使用，因此该类模式较适用于安全边界的内容风险管控，但不适用于DDOS大流量攻击防护。
对运营商构建安全产品而言，串接模式同样弊端较多：
1） 单点故障 由于防护设备串接在电信设备和客户设备之间的链路上，增加了故障点，如果防护设备出现故障，则会影响客户业务
2） 成本高昂 由于防护设备串接在客户链路中，因此只能为单个客户使用，不具备扩展性，造成部署成本高昂
3） 升级平滑性差 一旦安全设备无法满足用户新需求，需要新增、替换设备或者版本变更，则需要大量用户端设备割接，对用户影响大。
1.2 上海电信旁路安全平台介绍
业界主流思路是运营商以城域网或者骨干网为单位部署统一的旁路安全平台，覆盖本地网所有Internet用户，集中提供流量分析、安全预警、黑洞路由封堵、DDOS流量清洗等安全服务，用户共享安全池能力。
旁路模式基于城域网核心层提供大带宽流量清洗能力，建设成本低，管理维护方便，易于后期能力扩充和功能延伸。平时客户流量并不经过该平台，待有攻击时再通过引流的方式将客户流量引入防护平台，清洗完成后再通过回流方式将客户流量导回至客户网络，完成整个清洗过程。
上海电信旁路安全平台利用BGP引流、PBR回流模式搭建的DDOS防护平台。在管理维护上实现了网管统一开通、统一配置、统一维护的界面管理，并针对客户需求开发了客户自服务、黑洞路由API接口等创新功能。
如图1所示，目前上海电信DDOS防护平台共部署三台Cisco 7609设备，定义为引流路由器角色。下挂C公司Guard和A公司 TMS防护设备。每台7609分别通过4条10GE链路与4台上海电信城域网核心出口路由器相连。
清洗系统总能力达到96G，后续基于该平台可以持续扩容。
2 引回流技术介绍
旁路模式关键就是用户入流量的引回流技术，作用为将攻击用户的异常流量引导到旁路平台，完成安全清洗后重新送回到用户侧。
2.1 基于BGP的引流技术
引流一般是采用BGP路由的方式，由防护平台广播/32的引流路由给核心路由器，将流量引导至防护平台。
如图2所示，安全平台中CISCO 7609路由器作为引流路由器，与城域网核心路由器之间建立EBGP邻居关系，一旦被防护用户被DDOS流量攻击需要开启防护功能，首先通过netflow流分析系统定位用户被攻击IP地址，由引流路由器向核心路由器发布一条/32的被攻击地址路由信息，核心路由器会同时学习到用户正常的专线路由和该/32引导路由，基于明细路由原则将攻击流量从核心路由器侧引导到安全平台。
由于DDOS攻击流量大部分来自于城域网外部，因此核心路由器为引回流的主要实施点，为避免下联汇聚层、业务层设备受/32路由影响引起路由环路，该/32 BGP路由需要叠加No_Advertise属性及一个专用的community（比如设定为A），确保只在核心路由器生效，不下发给汇聚层、业务层等设备。
2.2 回流技术的选择与创新
回流技术主要就是解决核心路由器的环路问题：引流需要DDOS防护平台产生/32引流路由，清洗后的流量由防护平台导回核心路由器后，如果不做任何处理，则会被/32引流路由再吸回防护平台，形成路由环路。
传统模式为了避免路由环路，就需要采用GRE Tunnel、PBR策略路由等方式，将流量引导回用户网络。但这些方式往往配置过于复杂，维护不便，扩展性也不佳，弊端较多：
1） 物理线路的回流方式：被保护的用户网络和清洗平台之间用物理线路（如光纤）进行连接，发生攻击时，将攻击流量引到防火墙系统内进行清洗，清洗后的干净流量再通过互连线路回注到用户网络。该方式的主要弊端是需要大量物理光纤资源，资源消耗较大、成本高昂。 2）GRE Tunnel回流方式：被保护的用户网络和清洗平台之间建立GRE Tunnel，清洗后的干净流量通过隧道回注到用户网络。该方式的主要弊端是配置复杂，每个客户都需要开通一条隧道，对设备的性能影响也较大。
3） 传统PBR策略路由回流方式：该方式是将清洗后的干净流量再回到核心路由器，然后在核心路由器上通过PBR策略路由的方式，将流量引导回被保护的用户网络。该方式的主要弊端也是配置复杂，每个客户都需要配置相应的策略路由，后期的维护极为不易。
上海电信为了解决路由环路的问题，经过对城域网结构的广泛研究和设备特性的深入了解，基于Juniper路由器平台创新使用了一套特殊策略，该方案投入成本低，自动化程度高，解决了传统模式存在的缺点，基本原理如下：
1） 引流路由器VRF化：
引流路由器不仅承担核心路由器流量的引导作用，同时负责将异常流量推送给DDOS清洗设备，引流路由器和DDOS清洗设备之间建立IBGP关系，同样通过BGP路由将流量送至清洗设备予以处理，因此清洗设备是实际/32 BGP路由的发起者，流量清洗完成将清洁流量再次回送给引流路由器。
引流路由器为此需要建立两张local VRF转发表，分别对应引流和回流实现转发隔离，确保回流流量不再受引流路由影响。
2） 核心路由器的路由表多实例化
Juniper路由器采用JUNOS软件系统，该平台非常优秀的一个特性就是支持routing instance多实例化。每个routing instance代表一套独立的路由表集、接口和路由协议参数。缺省情况下JUNOS具有默认路由instance，按照协议栈属性分别inet.0（ipv4）、inet.6（ipv6）等路由表。用户可以自行定义新instance实例用于路由转发、VRF、L2vpn、VPLS等各类应用。
首先在Juniper核心路由器上新建clean-instance为回流路由实例，该实例会自动生成clean-instance.inet.0（ipv4路由表）。
然后利用rib-group功能实现各类路由协议到默认路由实例inet.0路由表和回流实例clean-instance.inet.0路由表的的输入功能。JunOS的Rib-group功能可以定义一个路由表组，该路由组可以包含多个不同实例的路由表，凡是关联在该路由组的路由协议可以与该组中的路由表相互进行输入输出操作，可以配置police策略控制输入输出实现用户自定义路由选路的目的（路由协议关联中ISIS＼OSPF等IGP协议为整体关联，BGP协议支持邻居adj下关联学习）。
默认实例inet.0由于是基础转发表，作为核心路由器主要的转发寻址表，无需控制采用全路由协议输入。而clean-instance.inet.0路由表最为关键，需配置police策略匹配BGP路由，拒绝输入带有专用community A的路由，从而生成无/32引流路由的clean-instance.inet.0路由表，提供回流接口的PBR策略使用。
最后在回流接口上应用input-list的重定向策略，将该端口收到的用户流量全部定向到clean-instance.inet.0路由表，由于该路由表没有/32引流路由，因此会按照正常用户路由转发到用户侧，从而解决核心路由器的路由环路问题。
3） 引流路由器自动化回流
以上技术可以实现安全平台对用户DDOS流量的引导和回送，在多核心路由器环境下，引流路由器中回流VRF中缺乏用户路由信息以实现就近的核心回送，采用静态路由的方式又增加人工配置量，且无法与用户路由变动进行关联。
为解决这个问题，在引流路由器回流VRF中建立与核心路由器的EBGP关系，核心路由器发送clean-instance.inet.0路由信息从而让回流VRF中生成用户路由信息，为确保最近回流，核心路由器需在BGP路由中叠加IGP cost路径权重，引流路由器通过多核心发送的用户路由择优出用户回程路由。
以上引回流技术为上海电信依托于现网架构和核心路由器设备能力所设计出一套自动化方案，应该说对于旁路平台建设和DDOS业务全网实现提供了网络基础。该技术应用已经非常成熟，对于城域网防御DDOS类攻击，满足用户安全接入要求发挥了重要作用。
2.3 引回流技术的多厂商实现
多实例路由表方式与设备厂商密切相关，对于非Juniper品牌的核心路由器则无法使用，而主流厂商也逐渐在自身路由系统上开发了”BGPDynamicVRFRouteLeaking”增强技术，通过业务改造也可以提供引回流能力。
BGP VRF leaking基于local-VRF技术，构建类似于多实例路由表的专用回程VRF，leaking技术则可以将默认路由表中的BGP路由泄露到该VRF中，泄露中通过控制策略将专用community的/32引流路由拒绝输入VRF，最后将回流端口绑定到该VRF中替代JunOS的PBR重定向方式。
该技术在上海电信城域网也已经完整应用，实现了与Juniper设备一致的回流能力，主流厂商如思科、华为公司的核心路由器都已经支持该技术。
3 结束语
随着互联网安全服务型产品的发展，运营商希望能够在DDOS清洗产品基础上，在旁路安全平台上叠加更丰富的服务类型，尤其是防火墙内容检测、应用防护等功能，而这些服务能力需要用户出入流量的双向引导才能实现。现有引回流技术只能实现用户入流量的单向引导，不能提供用户出流量的引导能力，安全服务产品的发展受到制约。
这方面业界也在研究基于用户源地址的引流方案，尤其是QPPB技术和flowspec技术，这两类技术都可以通过BGP路由识别用户源地址并实施重定向等操作，flowspec更具备类SDN理念能提供板卡级别的flow流操作能力，亦是今后的引回流技术的发展方向，当前受制于技术成熟度和厂商兼容性，应考虑实验室测试和局部试点来摸索应用模式。
参考文献：
[1] Zhang R，Bartell M.BGP设计与实现[M].黄博，葛建立，译.北京：人民邮电出版社，2008
[2] DDoS分散式阻断服务攻击深度解析[M].碁峰资讯股份有限公司
[3] RIB Group White Paper[M].Juniper公司