基于WCF的通信数据ETL服务的设计与实现

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:ni00ni
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络优化是在对移动通信数据处理分析的基础上,对现有的网络设备进行调整,使之能够更好的服务广大手机用户的重要工作。各大网络设备与服务的提供商都需要一个数据分析平台对基站所产生的日志文件进行分析,找到网络中需要调整的方向或者目前网络中存在的问题。通过对网络优化中常用的移动通信数据的研究和对网络优化工作人员需求的调查,发现现有的网络优化工作仍然采用手动的方式,网络优化人员日常工作有相当一部分时间在处理各种各样的日志文件。数据处理程序不完善,很多的常用分析功能都需要人工完成,费时费力,而且重复性工作很多。根据网络优化工作人员的具体需求,总结在移动通信领域的数据处理需求,最终设计了基于WCF的通信数据ETL服务。系统使用WCF寄宿Windows服务的方式向外开放调用接口,方便外界引用数据服务,调用系统功能。系统使用基于表结构描述的数据存储方式,并对数据进行横向切分,使用SQLServer数据库很好的对大量不同格式的移动通信数据进行了表示和存储。在细致分析需求的基础上,将数据导入过程细化,分为文件列取、下载、解析、保存四个步骤,细致检测数据导入过程,检测任务异常。系统允许开发人员通过编写插件的方式进行二次开发,在不修改系统的情况下对系统进行直接扩展,增加数据处理功能。为了方便数据读取,满足数据透明性,在查询条件的限制和功能灵活性的平衡上做了一定的尝试,在考虑系统扩展性,预留计算扩展接口的情况下,提供两种不同的数据读取方式,并基于这两种数据读取方式,提供了面向移动通信领域的常用网络数据计算。系统设计和实现的过程中,充分考虑了客户端的需求,通过流水线,多线程和延迟加载等方式对系统的效率进行了优化,保证服务系统的响应时间和应答效率,提高数据处理效率。目前,在经过大连移动公司现场测试之后,通信数据ETL服务已经提交爱立信公司内部使用,作为网络数据处理的基础支持项目,协助网络优化工程师对网络数据进行分析,得到了相关工作人员的充分肯定,具有实际应用价值。
其他文献
高等院校担负着对大学生进行科学知识和人文知识的教育,培养大学生的科学精神和人文精神的重任.然而,我国高校特别是理工科院校对人文社会科学教育一直存在着某种偏见.面对教
<正>世界上每3瓶啤酒中就有1瓶产自巴西3G资本旗下公司,百威、亨氏、卡夫等一个个光亮的名字也已被其收入囊中,巴菲特在数次百亿美元并购案中与其联手。3G资本是如何进入一个
实验室内标本周转时间(turnaround time,TAT)即自标本送到实验室签收时间到报告结果时间,体现实验室报告的时效性,是衡量检验科服务的指标之一[1]。检验结果报告时间不仅体现了
近年来。变应性鼻炎发病率在全球范围内有逐年上升的趋势,其检查、诊断、治疗也受到国内外学者的关注。变应性鼻炎是特异性体质者在接触变应原后所引发的由IgE介导的变态反应,
随着国民经济的快速发展,人们对生活品质要求的不断提高,当前的环境保护与资源有效的利用已跟不上时代的步伐,环保、经济、节能俨然成为当前广为关注的主题。因此,作为近代科
家族势力在农村社会体制中的渗透,造成了集体对农村实行全面调控的体制逐渐丧失其权威和能力.发展下去,农村社会的秩序必然遭到其破坏,从而难以有效地集中分散使用的社会资源
患者,女,65岁,食管中段癌,行胸腔镜游离食管,腹腔镜游离胃,食管胃左颈部吻合术,术中常规于膈上约5cm处结扎胸导管。手术顺利,术后胸腔引流液平均每天160ml,术后5d拔除胸腔引流管,术后10
孔子以培养&#39;君子&#39;为教学管理目标,在教学管理、教师管理及学生管理等众多方面体现的独到的管理思想,为我国古代教育管理奠定了坚实的理论基础,同时对今天的教育管理
《向特定国家(地区)出口易制毒化学品暂行管理规定》已经2005年6月3日商务部第9次部务会议、2005年7月8日国家安全生产监督管理总局第1次局务会议和2005年7月7日国家食品药品监
服务型制造是经济全球化、消费者需求异质化、互联网技术突飞猛进等因素催生的一种新型制造模式,也是福建体育用品制造业转型攀升的必然选择。本文构建了包含创新驱动、服务