伴随中国互联网战略的实施和移动智能终端的快速发展,移动互联网已经渗透到了经济社会的各个领域。近年来移动社交O2O、移动游戏媒体、餐饮O2O、交通O2O、旅游O2O、移动阅读视听等热点呈百家齐放趋势[1]。移动互联网的蓬勃发展,为改变人们的交往方式、有效提高生活质量发挥了重要作用的同时,企业面临的竞争环境也发生了巨大变化。企业拥有的知识技能和其他数据资产的数量及其应用效能已成为企业能否取得市场竞争优势的重要因素之一。为此,国内电信运营商的集团公司和很多省分公司将大数据作为其在移动互联网时代企业转型的战略性工作,开始试点了大数据系统的建设与应用,以充分挖掘企业的数据资产价值,创造新的利润增长点[2]。同时,随着移动用户数量的激增,移动应用类型日渐复杂,对互联网上的用户流量监测、行为分析与控制势在必行,进行全网移动互联网应用流量及类型分析和用户行为分析变得越来越重要。但是,随着移动互联网进一步发展,目前还没有全网统一的DPI数据采集和基于全网的应用分析,所以建设面向全网的基于DPI数据的移动互联网分析系统显得更为必要。本文针对电信集团智能网管系统建设的发展需要,首先开展了对DPI数据的下载,DPI数据采集及数据分析的流程调研,熟悉了 DPI数据处理功能及性能上的业务需求,明确了要运用的技术并进行了相关技术及数据的准备。在此基础上对业务需求进行了分析并建立了合理的需求模型和数据模型,对配置资源的进行了合理的规划分配,对系统的总体架构、流程、各个功能模块以及相关数据库结合UML图表进行了详细的设计分析与实现。本文将系统划分为DPI数据下载、DPI数据采集、DPI数据分析三大功能模块,其中DPI数据下载模块分为接口元数据管理、环境元数据管理、下载任务管理;DPI数据采集模块分为Flume组件管理、Flume元数据管理、Flume采集任务管理;DPI数据分析模块分为Spark任务管理、用户分析(2G、3G、4G及总活跃用户数;连接次数;连接时长;访问次数;请求总次数;HTTP请求成功率)、流量分析(用户区间流量;用户2G、3G、4G及总流量使用情况;移动应用占比)及业务分析(上网类型应用关系;移动终端占比;终端操作系统占比及漫游用户分布)等十三个功能。在整个系统中,DPI数据下载、DPI数据采集及DPI数据分析模块中的Spark任务管理是基于IDCP综合数据采集平台实现的,本文也对IDCP系统在DPI数据处理中的应用的相关功能进行了详细的阐述。系统设计与实现完成后进行了 DPI数据处理的功能测试和性能测试,编写测试用例,执行用例步骤,得出测试结果。通过对测试结果的分析,该DPI数据处理系统的实时性、准确性和有效性基本达到了设计要求,实现了预期建设目标,有效提升了电信集团智能网管系统运行的业务监督与管理水平。