随着智能设备的飞速发展,越来越多的人通过各种智能设备成为互联网中的-员,这期间产生的海量用户数据若能够有效的利用起来,将会产生巨大的价值。另一方面,随着分布式集群的成本的降低及分布式算法的成熟,对大批量数据的分析也越来越方便、高效。本文所述项目即是分布式集群及分布式算法在广告投放行业的应用。本论文所涉及的项目旨在通过分布式集群及分布式算法对海量用户上网数据进行分析,找到最有可能促成对需要投放广告的产品的购买行为的人群,以实现对广告行业广告投放方式的改革——由无差别盲目投放转变为精确到某个人的投放。本人参与了如下工作：爬虫项目的开发,内容识别系统架构及识别规则制定,内容识别系统的开发及测试,广告投放系统日志分析。本文所述项目依托于Hadoop集群,通过Java及Python编写的MapReduce程序,根据存储于关系数据库(MySQL)的通过爬虫(Scrapy)爬取的内容识别(域名、商品、应用、搜索关键字、CookieId、终端类型、User Agent、Token等)规则,对存储于NoSQL数据库(Hive)中的海量用户上网数据进行分析、汇总及画像,并将分析结果存储于高性能的key-value数据库(Redis)中,以供广告投放平台查询广告相关的有效人群,为广告竞价投放过程提供决策依据,实现将广告投放到最有可能发生购买行为的人群中的目的,以提高广告投放整个过程的投资回报率(ROI, Return On Investment)。