广告投放是互联网服务提供商盈利的一种重要模式,如何抓住消费者需求,投递合适的广告并转化为商业价值是吸引广告商的重要手段。而从消费者角度,对于广告感到反感乃至无法忍受与对于互联网服务的依赖构成了一对矛盾。为了能够使服务商、消费者和广告商达到共赢,本文针对搜索引擎的用户数据和其旗下的视频网站服务,借助用户搜索记录分析用户偏好,深度挖掘和实时感知用户潜在需求,实施精准广告投放,旨在挖掘消费者需求与广告商品之间有机关联,搭建和谐的沟通渠道。对目标用户进行精准的广告投放,不仅能给广告商带来更大利益,而且对用户减少了骚扰,在提供视频服务的同时进行消费推荐。本文面临的挑战主要有四个方面：基于用户行为的海量人群的细粒度分类,基于用户反馈的人群模型更新,实时更新的动态大数据处理,以及面向普通用户的可视化数据分析。基于用户行为的画像建模是解决第一个问题的关键,针对搜索行为和视频服务特点,建立了面向用户搜索／播放行为、时间和属性三大类近一万维度的用户特征向量,有机整合了用户的基本信息和内在需求的外部呈现。通过对用户进行聚类,借助每类用户特征的统计结果,进行基于关键字和概念的用户内涵挖掘,深度分析群体特征和需求。针对模型更新问题,对用户行为进行动态追踪,借助逻辑回归等手段对用户行为预测,以进行精准广告投放。针对大数据处理的实时响应问题,借助Hadoop技术对海量数据进行预处理和行为预测,利用在其他业务中获得的调优参数和相关聚类算法把上万维度的稀疏用户数据和反馈信息进行有效分类。为了满足普通广告商用户的数据分析需求,对于海量纬度数据进行有效划分和集成,建立了行业概览、基于主题词和地域特征的行业详情、面向用户的兴趣和性别等信息的数据可视化平台。本文设计实现了精准广告投放和数据可视化系统。首先,分析了传统广告投放的特点和不足,以及同行业内google、优酷、CSDN等网络营销服务提供商的广告特点,依据某搜索引擎公司优势建立了依托于用户搜索数据的精准广告投放系统。然后,从用户信息管理、系统数据收集、用户需求分析、人群划分与可视化呈现等方面进行了详细的需求分析。在架构方面,前端使用play framework轻量级web框架,后端依托于分布式计算平台Hadoop,采用python和hive sql方式对用户数据进行统计,并基于MapReduce进行算法实现。最后,详细论述了系统设计和实现方案,包括基于用户数据的人群聚类算法、基于逻辑回归的用户广告点击预测等。通过对比系统部署前后的广告投放效果,本系统与同行业及传统的广告投放方式相比,在点击到达率、千次广告展示费用和平均点击价格等方面都有了极大的提高,依据用户反馈数据的广告更新可以在15分钟内完成,实现了快速精准广告投放。本系统运行至今,受到了广告商的赞赏,为公司带来了近乎翻倍的广告投放和业务营收。本系统对于其他web服务系统中的用户划分、功能改进、广告投放等也有借鉴意义。