论文部分内容阅读
【摘要】 当前 Citrix负载作为国外主流负载均衡产品之一，在数字通信领域得到了广泛使用。中国移动作为移动通信的领航者，无论在国内基站建设、网络规模、业务营收都排名前列，其内部业务支撑网有着众多成熟的Citrix负载解决方案;本文就Citrix负载均衡进行了详细概述，涉及Citrix配置的高可用性、应用加速以及安全技术，并在此基础上对某省移动公司采用的解决方案进行了实例分析。
【关键词】 Citrix 负载均衡 高可用 应用安全 冗余
一、介绍运营商行业背景及负载均衡技术的应用背景介绍
电子渠道出口作为某省移动公司对外提供线上业务办理、对接大众市场的公网出口，需提供稳定的网络服务、丰富的APP增值业务、优质的售后服务，以保证运营商在业务重叠的残酷竞争环境下仍葆有强大市场竞争力。近年来随着电子渠道业务受理量持续增长，对于用户感知强、响应频率高的业务办理请求，运营商需要依托现有网络架构，采用软/硬件负载解决方案来提高网络设备和服务器帶宽，在提升现网数据转发处理能力的同时保证组网的高可用性。
Citrix负载均衡产品设计思路与其他市面上主流负载相似，将多台服务器以对称的方式构建服务组，下挂的每台真实服务器地位对等，均具备独立对外提供服务的能力。根据不同业务的应用场景，通过Citrix负载均衡能提供最小连接数、轮询、源ip地址散列等多元化调度算法，将外部请求尽可能均衡分配到服务组下的真实服务器，接收请求的真实服务器再将处理结果单独返回请求端，最终实现负载分担功能[1]。运营商业务部署环节采用硬负载均衡方式可解决高并发访问的问题，保证现业务访问请求得以快速转发。
二、Citrix负载高可用性：
2.1负载冗余性
网络架构搭建过程可将Citrix-NetScaler负载均衡部署成Active/Standby模式，通过配置NSIP （NetScaler管理IP），实现两台设备的的网络联通。Active负载均衡器每隔1S发送5个UDP数据包到Standby负载均衡器的3003端口，通告是否有配置或命令更新。因此在 Active的Citrix负载在对外部访问请求处理的过程，会将执行命令同步到状态为Standby的备机。当管理员在Web页面控制台或者设备端修改当前配置，系统在检测到配置更新后将配置同步到备机。当主用负载均衡设备需要在线升级或者设备出现异常，备用负载均衡可快速实现业务接管。
2.2高可用部署策略
应用部署和数据中心建设过程中，Citrix-NetScaler负载均衡可提供高级服务器负载均衡（SLB）和全局服务器负载均衡（GSLB），通过检测本地和远程故障停机来确保系统应用和数据中心的高可用。SLB和GSLB根据健康检查来监测端口并屏蔽异常的服务器应用，使访问请求能够将正确发送到UP状态的服务器和数据中心。对于本地数据中心，负载采用SLB可避免服务器单点故障或部分服务器负载不均衡导致的数据丢失等问题;对于本地的大型互联网公司和各运营商在全国多地建设数据中心节点，在负载启用GSLB功能可将用户对某个WEB网站的访问请求引导到众多站点间性能最佳的一个站点，实现用户就近访问、站点之间的负载均衡以及远程灾备[2]。
三、Citrix负载应用加速
Citrix负载提供多项技术来实现应用加速，常用的有TCP复用、TCP缓冲、客户端连接过程的Keep Alive以及SSL加速技术。 考虑到运营商业务办理的高频访问特性，采用TCP复用技术将客户端高频短连接调整为长连接，配合使用TCP缓冲和Keep Alive的心跳包检测，可以降低服务器负载高频短连接请求数，起到改善服务器性能和应用加速的效果。
四、应用安全
Citrix-NetScaler负载均衡的Web防火墙可有效抵御OWASP发布的Web应用服务器安全威胁，起到Web服务器安全防护作用。设备在开启DDoS防护功能后，可由手工配置ACL或数据包规则过滤、数据包内容定制等办法进行异常流量清洗，确保合法用户及时得到服务响应。DNS应用防火墙（DAF）可针对域名系统础架构的攻击提供高级保护，充分利用查询行为的粒度级应用规则和速率限制等缓解方法。 负载均衡设备在创建HTTPS监听前，必须登录负载均衡管理控制台，导入业务侧所提供的服务器证书和CA证书，而无需在后端服务器再配置证书。通过CA认证，网上的用户通过验证CA的签字从而信任CA，提高应用访问的安全性[3]。
五、负载均衡在运营商的应用
某省移动公司在电子渠道网络部署环节，根据业务流量走向，用户首先通过公网接入网运CNMET，随后由省网路由器对流量进行快速转发到电子渠道防火墙，在流量经过防火墙ACL过滤后到达DMZ区交换机。基于不改变前期网络拓扑结构前提，组网时网络管理员将Citrix负载均衡设备旁挂在交换机之间，为用户访问内网业务提供负载均衡功能，实现电子渠道部署业务主机的均衡访问。通过Citrix负载设备健康检查机制确保服务请求链接到正常状态的服务器，为用户快速访问链接和高质量服务。
在部署模式选择上，考虑到应用安全性和设备容错性，不仅需要负载均衡设备能尽可能屏蔽外部对trust区真实服务器的探测攻击，还需要实现分布式部署和容错功能。考虑到透明模式安全性较低，不能完全屏蔽外部对与负载均衡设备同属网段服务器的攻击;远程服务器方式部署模式和当前业务主机部署方式不适配[5]。从系统可靠性角度分析，使用相同设备进行串接组网，系统故障率要高于并联方式。因此某省移动公司最终选定使用路由部署模式，在负载均衡设备上启用L3/4层（IP+端口）和L7层（应用）负载均衡方式，采用单臂旁路的方式接在交换机两端。 此外，由拓扑结构明显可以看出，业务采用服务器负载均衡（SLB）来避免服务器单点故障或部分服务器负载不均衡问题。 单臂模式下Citrix负载均衡采用源地址翻译技术，对外提供负载VIP给用户访问，再根据轮询算法指向应用实例服务器IP+端口[6]。扩容前由于部分主机硬件配置限制，需要将网关指向Citrix负载。而在当前负载可使用SNAT和DNAT，通过路由保证往返流量都流经负载均衡设备。Citrix负载健康检查采用HTTP Request方式，当探测到某个Web应用正常，则返回ok等关键字段信息。通过上述技术手段，实现服务器负载均衡的功能。
某省移动公司对公网接口改造，使之具备双栈接入功能，对外可承载ipv4/ipv6业务。在电子渠道公网出口完成防火墙、交换机ipv6配置后，需要修改Citrix相關配置，确保设备能承载ipv6业务访问，并在内部实现v6到v4地址转换[4]。通过关键配置命令行enable ns feature WL LB CS CR CMP SSL GSLB HDOSP CF SSLVPN AAA REWRITE IPv6PT RESPONDER AppFlow CH开启ipv6和ipv4协议转换功能。调通ipv6接口基础上，只需新增Service- Group、创建Vserver以及将Service-Group与Vserver绑定，即可像ipv4实例一样实现负载转发。Citrix负载健康检查，同样可以检测到ipv6应用的存活状态。
此外，运营商业务根据市场需求实时变更，部署在负载均衡上的证书需要实时更新，从而确保业务正常上线。网络管理员在收到新的业务侧证书后需对证书进行检查，其中新的证书文件应包含.cer和.key两种类型文件。如果发现新的证书更换了证书颁发机构，还要业务侧额外提供新的颁发机构的CA和中间证书。在确认新的证书中的Common Name和旧证书一致，有效期为最近颁发之后，通过SSH方式创建ns.conf文件的副本，对2台Citrix负载均衡执行save config命令来保存最新配置，以便证书更新失败后可以正常回退。在系统GUI界面，可观察Citrix设备上备份证书的状态、证书信息、证书绑定关系等。通过GUI界面，Traffic Management>>SSL>>SSL Files，上传最新的证书文件到设备后，选中对应证书执行Update命令，最终完成服务器证书和密钥替换。
参 考 文 献
[1]王龙. 面向大规模访问的Web服务器负载均衡系统设计与实现[D]. 北京邮电大学， 2013.
[2]汪岳. 移动云办公的应用和研究[J]. 信息系统工程， 2017， 000（004）：82-83.
[3]崔诚. 数字证书在网络安全中的应用探析[J]. 电脑知识与技术， 2014， 000（027）：6278-6279.
[4]黄萍， 罗伟峰， 刘昕林，等. IPv4与IPv6协议双栈技术融合企业网络的方案及应用[J]. 粘接， 2019， 040（011）：110-113.
[5]夏斌， 杜守国. 云服务平台负载均衡器的网络设计与实践[J]. 计算机应用与软件， 2014， 31（008）：121-125.
[6]夏垒. 基于NAT负载均衡技术的研究和改进[D]. 上海交通大学， 2013.
【关键词】 Citrix 负载均衡 高可用 应用安全 冗余
一、介绍运营商行业背景及负载均衡技术的应用背景介绍
电子渠道出口作为某省移动公司对外提供线上业务办理、对接大众市场的公网出口，需提供稳定的网络服务、丰富的APP增值业务、优质的售后服务，以保证运营商在业务重叠的残酷竞争环境下仍葆有强大市场竞争力。近年来随着电子渠道业务受理量持续增长，对于用户感知强、响应频率高的业务办理请求，运营商需要依托现有网络架构，采用软/硬件负载解决方案来提高网络设备和服务器帶宽，在提升现网数据转发处理能力的同时保证组网的高可用性。
Citrix负载均衡产品设计思路与其他市面上主流负载相似，将多台服务器以对称的方式构建服务组，下挂的每台真实服务器地位对等，均具备独立对外提供服务的能力。根据不同业务的应用场景，通过Citrix负载均衡能提供最小连接数、轮询、源ip地址散列等多元化调度算法，将外部请求尽可能均衡分配到服务组下的真实服务器，接收请求的真实服务器再将处理结果单独返回请求端，最终实现负载分担功能[1]。运营商业务部署环节采用硬负载均衡方式可解决高并发访问的问题，保证现业务访问请求得以快速转发。
二、Citrix负载高可用性：
2.1负载冗余性
网络架构搭建过程可将Citrix-NetScaler负载均衡部署成Active/Standby模式，通过配置NSIP （NetScaler管理IP），实现两台设备的的网络联通。Active负载均衡器每隔1S发送5个UDP数据包到Standby负载均衡器的3003端口，通告是否有配置或命令更新。因此在 Active的Citrix负载在对外部访问请求处理的过程，会将执行命令同步到状态为Standby的备机。当管理员在Web页面控制台或者设备端修改当前配置，系统在检测到配置更新后将配置同步到备机。当主用负载均衡设备需要在线升级或者设备出现异常，备用负载均衡可快速实现业务接管。
2.2高可用部署策略
应用部署和数据中心建设过程中，Citrix-NetScaler负载均衡可提供高级服务器负载均衡（SLB）和全局服务器负载均衡（GSLB），通过检测本地和远程故障停机来确保系统应用和数据中心的高可用。SLB和GSLB根据健康检查来监测端口并屏蔽异常的服务器应用，使访问请求能够将正确发送到UP状态的服务器和数据中心。对于本地数据中心，负载采用SLB可避免服务器单点故障或部分服务器负载不均衡导致的数据丢失等问题;对于本地的大型互联网公司和各运营商在全国多地建设数据中心节点，在负载启用GSLB功能可将用户对某个WEB网站的访问请求引导到众多站点间性能最佳的一个站点，实现用户就近访问、站点之间的负载均衡以及远程灾备[2]。
三、Citrix负载应用加速
Citrix负载提供多项技术来实现应用加速，常用的有TCP复用、TCP缓冲、客户端连接过程的Keep Alive以及SSL加速技术。 考虑到运营商业务办理的高频访问特性，采用TCP复用技术将客户端高频短连接调整为长连接，配合使用TCP缓冲和Keep Alive的心跳包检测，可以降低服务器负载高频短连接请求数，起到改善服务器性能和应用加速的效果。
四、应用安全
Citrix-NetScaler负载均衡的Web防火墙可有效抵御OWASP发布的Web应用服务器安全威胁，起到Web服务器安全防护作用。设备在开启DDoS防护功能后，可由手工配置ACL或数据包规则过滤、数据包内容定制等办法进行异常流量清洗，确保合法用户及时得到服务响应。DNS应用防火墙（DAF）可针对域名系统础架构的攻击提供高级保护，充分利用查询行为的粒度级应用规则和速率限制等缓解方法。 负载均衡设备在创建HTTPS监听前，必须登录负载均衡管理控制台，导入业务侧所提供的服务器证书和CA证书，而无需在后端服务器再配置证书。通过CA认证，网上的用户通过验证CA的签字从而信任CA，提高应用访问的安全性[3]。
五、负载均衡在运营商的应用
某省移动公司在电子渠道网络部署环节，根据业务流量走向，用户首先通过公网接入网运CNMET，随后由省网路由器对流量进行快速转发到电子渠道防火墙，在流量经过防火墙ACL过滤后到达DMZ区交换机。基于不改变前期网络拓扑结构前提，组网时网络管理员将Citrix负载均衡设备旁挂在交换机之间，为用户访问内网业务提供负载均衡功能，实现电子渠道部署业务主机的均衡访问。通过Citrix负载设备健康检查机制确保服务请求链接到正常状态的服务器，为用户快速访问链接和高质量服务。
在部署模式选择上，考虑到应用安全性和设备容错性，不仅需要负载均衡设备能尽可能屏蔽外部对trust区真实服务器的探测攻击，还需要实现分布式部署和容错功能。考虑到透明模式安全性较低，不能完全屏蔽外部对与负载均衡设备同属网段服务器的攻击;远程服务器方式部署模式和当前业务主机部署方式不适配[5]。从系统可靠性角度分析，使用相同设备进行串接组网，系统故障率要高于并联方式。因此某省移动公司最终选定使用路由部署模式，在负载均衡设备上启用L3/4层（IP+端口）和L7层（应用）负载均衡方式，采用单臂旁路的方式接在交换机两端。 此外，由拓扑结构明显可以看出，业务采用服务器负载均衡（SLB）来避免服务器单点故障或部分服务器负载不均衡问题。 单臂模式下Citrix负载均衡采用源地址翻译技术，对外提供负载VIP给用户访问，再根据轮询算法指向应用实例服务器IP+端口[6]。扩容前由于部分主机硬件配置限制，需要将网关指向Citrix负载。而在当前负载可使用SNAT和DNAT，通过路由保证往返流量都流经负载均衡设备。Citrix负载健康检查采用HTTP Request方式，当探测到某个Web应用正常，则返回ok等关键字段信息。通过上述技术手段，实现服务器负载均衡的功能。
某省移动公司对公网接口改造，使之具备双栈接入功能，对外可承载ipv4/ipv6业务。在电子渠道公网出口完成防火墙、交换机ipv6配置后，需要修改Citrix相關配置，确保设备能承载ipv6业务访问，并在内部实现v6到v4地址转换[4]。通过关键配置命令行enable ns feature WL LB CS CR CMP SSL GSLB HDOSP CF SSLVPN AAA REWRITE IPv6PT RESPONDER AppFlow CH开启ipv6和ipv4协议转换功能。调通ipv6接口基础上，只需新增Service- Group、创建Vserver以及将Service-Group与Vserver绑定，即可像ipv4实例一样实现负载转发。Citrix负载健康检查，同样可以检测到ipv6应用的存活状态。
此外，运营商业务根据市场需求实时变更，部署在负载均衡上的证书需要实时更新，从而确保业务正常上线。网络管理员在收到新的业务侧证书后需对证书进行检查，其中新的证书文件应包含.cer和.key两种类型文件。如果发现新的证书更换了证书颁发机构，还要业务侧额外提供新的颁发机构的CA和中间证书。在确认新的证书中的Common Name和旧证书一致，有效期为最近颁发之后，通过SSH方式创建ns.conf文件的副本，对2台Citrix负载均衡执行save config命令来保存最新配置，以便证书更新失败后可以正常回退。在系统GUI界面，可观察Citrix设备上备份证书的状态、证书信息、证书绑定关系等。通过GUI界面，Traffic Management>>SSL>>SSL Files，上传最新的证书文件到设备后，选中对应证书执行Update命令，最终完成服务器证书和密钥替换。
参 考 文 献
[1]王龙. 面向大规模访问的Web服务器负载均衡系统设计与实现[D]. 北京邮电大学， 2013.
[2]汪岳. 移动云办公的应用和研究[J]. 信息系统工程， 2017， 000（004）：82-83.
[3]崔诚. 数字证书在网络安全中的应用探析[J]. 电脑知识与技术， 2014， 000（027）：6278-6279.
[4]黄萍， 罗伟峰， 刘昕林，等. IPv4与IPv6协议双栈技术融合企业网络的方案及应用[J]. 粘接， 2019， 040（011）：110-113.
[5]夏斌， 杜守国. 云服务平台负载均衡器的网络设计与实践[J]. 计算机应用与软件， 2014， 31（008）：121-125.
[6]夏垒. 基于NAT负载均衡技术的研究和改进[D]. 上海交通大学， 2013.