电信运营商网络结构庞大复杂,涉及无线、交换、数据、传输等多个专业,在不断成长的现网架构中,原有的按专业划分的网管模式难以满足管理的需要。为了实现网络管理从分散到集中、数据存储从孤岛到共享、数据采集可动态扩展并屏蔽设备厂家差异化,业界在e-TOM(Enhanced Telecom Operations Map)框架基础上提出了综合网管模式,其三层架构包括数据采集层、数据共享层及应用层。在综合网管三层架构的数据采集层,集中式的采集方式将面临数据量庞大,数据质量如何保证的问题;复杂的网络结构将造成网络节点闪断频繁,采集过程中容易产生的告警风暴如何抑制;电信运营商网络膨胀速度快,新入网设备如何快速灵活地接入;数据采集并发量大,采集机启停频繁,处理采集任务时采集机间负载如何均衡;这些都是电信运营商综合网管系统建设中亟待解决的关键问题。针对上述问题,本文以N省移动运营商网络的综合网管系统建设项目为背景,在对综合网管架构、负载均衡算法、应用集成接口等相关技术分析研究的基础上,设计并实现了一个运营商网络信元信息采集系统,该系统包括信元数据采集任务调度、告警风暴处理、插件化信元数据采集适配等核心功能模块。满足了从数据源接入时需要动态不停机到数据采集时需要告警风暴抑制再到数据处理时需要设备间负载均衡的需求。测试及应用情况表明,首先系统可在运行时直接安装适配器插件,接入新数据源。其次在告警风暴发生时,系统可进入告警风暴态,有效压缩告警量。最后在大量新增采集任务,或采集机数量有变化时,采集机间的负载差不超过15%。本文工作要点如下:(1)在运营商网络的信元数据采集中,集中式的采集方式需要组建采集机集群。针对采集机集群中采集任务调度的负载均衡问题,本文对RoundRobin与ConsistentHash等算法进行了改进,根据采集机负荷将采集机标记为相应的权值层级,并动态计算每一权值层级的采集机当前应分配任务的概率。应用情况表明,基于改进的负载均衡算法设计并实现的信元数据采集任务调度功能模块能有效处理采集机宕机等情况,由3台采集机构成的集群每每小时可均衡处理10GB采集量的采集任务。(2)针对运营商网络信元数据采集中的告警风暴抑制问题,本文提出了一种告警频次及告警关联的压缩模型,基于该模型设计并实现的告警风暴处理功能模块可有效抑制告警风暴,每小时平均告警数仅为300条。(3)针对新入网设备如何快速灵活地接入的问题,本文设计并实现了插件化的信元数据采集适配器,通过定义平台框架与适配器之间的标准接口,使得符合接口规范的适配器插件均可动态接入并以标准的消息格式与平台框架进行通信。应用情况表明,这种插件化的适配器是有效的,无需停机就可将新的信元设备接入采集系统,目前已接入了18种信元设备。(4)通过在系统运行时,连续注册5个适配器并下发采集任务,模拟持续1小时的告警风暴,同时启停2两台以上采集机,分别验证了所有适配器均可正常工作,在告警风暴期间告警压缩量为76.3%,启停采集机后2分钟内采集机间重新达到负载均衡。