随着当今互联网行业的蓬勃发展,网络内容及相关资源呈现碎片化和无序化,用户在网络中的行为和兴趣导向越来越难以捕捉,因此对于基础网络运营商来讲,如何正确合理地引导用户上网行为和监测网上内容导向已成为急需解决的首要任务。互联网内容分析系统(Internet Content Analyze,ICA)是针对给定URL(Uniform Resource Locator,统一资源定位符)进行识别与分类,还原用户上网场景的系统。通过互联网内容分析对DPI(Deep Packet Inspection,深度报文解析技术)的增强解析,可以提升用户上网行为识别的精度和粒度,为建设用户标签体系和精准画像提供数据支持,进一步支撑基于偏好和时机的精准营销和实时营销。本人在实习公司负责互联网内容分析系统的开发,系统主要包括九个功能模块,本人负责开发了上网场景识别、场景行为识别、场景内容识别、内容分类、输入输出模块、主被动模块识别、规则维护平台七个功能模块。主要技术包括Hadoop分布式处理的软件框架、MapReduce编程模型,URL识别、APP应用二次识别、高性能的解析引擎,其中规则维护平台是基于SpringMVC框架开发的,提高了维护规则库的效率,采用了 MyBatis持久化框架进行数据访问,采用Redis进行数据缓存。电信运营商为了保障自有业务的健康持续发展,以及减缓自身被管道化的进程,有效地复制互联网行业业务和内容营销模式,需要业务部门有针对性地了解用户对业务和内容的偏好,用户上网浏览内容的习惯等,为自有业务的改进和营销内容的更新提供有力的依据。目前系统已经上线,各部分功能运转良好,已经满足公司各部门的业务需要,极大的提高了各部门的工作效率。