论文部分内容阅读
网络优化是在对移动通信数据处理分析的基础上,对现有的网络设备进行调整,使之能够更好的服务广大手机用户的重要工作。各大网络设备与服务的提供商都需要一个数据分析平台对基站所产生的日志文件进行分析,找到网络中需要调整的方向或者目前网络中存在的问题。通过对网络优化中常用的移动通信数据的研究和对网络优化工作人员需求的调查,发现现有的网络优化工作仍然采用手动的方式,网络优化人员日常工作有相当一部分时间在处理各种各样的日志文件。数据处理程序不完善,很多的常用分析功能都需要人工完成,费时费力,而且重复性工作很多。根据网络优化工作人员的具体需求,总结在移动通信领域的数据处理需求,最终设计了基于WCF的通信数据ETL服务。系统使用WCF寄宿Windows服务的方式向外开放调用接口,方便外界引用数据服务,调用系统功能。系统使用基于表结构描述的数据存储方式,并对数据进行横向切分,使用SQLServer数据库很好的对大量不同格式的移动通信数据进行了表示和存储。在细致分析需求的基础上,将数据导入过程细化,分为文件列取、下载、解析、保存四个步骤,细致检测数据导入过程,检测任务异常。系统允许开发人员通过编写插件的方式进行二次开发,在不修改系统的情况下对系统进行直接扩展,增加数据处理功能。为了方便数据读取,满足数据透明性,在查询条件的限制和功能灵活性的平衡上做了一定的尝试,在考虑系统扩展性,预留计算扩展接口的情况下,提供两种不同的数据读取方式,并基于这两种数据读取方式,提供了面向移动通信领域的常用网络数据计算。系统设计和实现的过程中,充分考虑了客户端的需求,通过流水线,多线程和延迟加载等方式对系统的效率进行了优化,保证服务系统的响应时间和应答效率,提高数据处理效率。目前,在经过大连移动公司现场测试之后,通信数据ETL服务已经提交爱立信公司内部使用,作为网络数据处理的基础支持项目,协助网络优化工程师对网络数据进行分析,得到了相关工作人员的充分肯定,具有实际应用价值。