论文部分内容阅读
互联网技术及其应用的快速发展,对广告业带来了巨大的变革。近年来出现一种针对目标人群的个性化广告投放方式,通过让广告主购买目标人群而不是固定广告位,提升广告投放效果并减少广告主的投放成本。这种个性化广告投放形式就叫RTB(Real Time Bidding,实时竞价广告),其目标是实现“把正确的广告以正确的方式在正确的时间呈现给正确的人”。在RTB广告投放过程中,提取、存储、搜索目标人群的系统叫做DMP(Data Management Platform,数据管理平台),它是RTB的关键角色之一。针对这一需求,本文设计并实现了一个支持高并发低延迟、高可用、水平扩展的服务端DMP系统iServer。论文的主要工作包括:(1)采用了由用户兴趣、移动设备的地理位置、用户消费习惯共同构成的多维度用户数据的DMP系统,供DSP(Demand Side Platform需求方平台)生产出“最合适”的广告内容。(2)采用了基于Redis的iServer数据存储方案,采用分布式处理策略,可满足高可用以及DMP高并发下单次响应在5ms以内的要求。(3)采用了基于Apache Kafka分布式发布订阅消息系统的数据采集方案,可以将移动设备的用户IP位置数据和第三方用户兴趣数据实时上报至iServer,满足iServer实时性要求。(4)采用了一种基于页面关键词提取技术的用户兴趣数据提取方法,通过全方位整合用户网上页面浏览行为,利用基于行块分布函数的通用网页正文抽取算法进行正文提取、利用逆向最大匹配算法进行分词、最终利用基于TF-IDF的加权算法提取出可高度概括页面内容的关键词,再通过对用户的全部页面关键词进行加权归一化处理,量化出每个关键词对于用户的重要程度,从而形成用户兴趣数据。(5)针对移动端APP内缺少统一的cookie标准、没有统一识别用户唯一的方法,提出了一种根据实时IP区分用户的移动DMP实现方式。(6)基于以上关键技术,设计并实现了iServer原型系统,它具有高并发低延迟、高可用、水平扩展的优点。通过对iServer关键模块的功能测试和非功能测试,证实了本文解决方案的可行性与有效性。