进入3G时代以来,语音通信市场已经趋于饱和,基于语音通信的短信和彩铃等增值业务也出现下降的趋势；智能手机日益普及,移动互联网的发展也一日千里,随着移动互联网业务与需求的飞速增长,为了实现业绩的持续增长,需充分挖掘用户的移动互联网访问行为,因此运营商提出了“流量经营”的运营理念,从而提升纯管道收入、提升流量效益、降低流量成本。本系统通过解读用户的上网内容来进行分类,从而分析用户的上网行为。本文设计并开发了一个基于Hadoop集群的开发框架,大量使用了Map/Reduce编程思想和方法,综合网络爬虫、文本分词(SVM(Support Vector Machine))、 DMZ (demilitarized zone)以及Nosql数据库Flare等技术对海量移动终端用户上网日志中的URL进行清洗、汇总、内容分类、保存等功能的系统。本人参与完成了如下工作：客户需求收集；用户行为轨迹增强模块中的分类过期删除、内外网传输,内容语义解析模块中的网页爬取、通用分类器分类、网页分类功能的设计及实现；本系统在现场部署测试。通过分析用户上网行为,挖掘用户的生活轨迹和生活需求,深度认识客户,充分理解需求,实现传统的“用户寻找信息”的被动服务模式逐步转变为“信息寻找用户”的主动服务模式,准确定位细分小众的数据业务产品目标客户,使移动互联网的精准营销大有可为,把握市场脉动,也为探索基于客户生活的新产品、新模式奠定了研究基础,使运营商发展可以向更广阔的蓝海空间拓展。