点击率预测一直是在线广告和产品推荐领域中非常受欢迎的问题,点击率的小幅增长可以带来可观的利润回报。近年来,由于机器学习和人工智能技术在自然语言处理及计算机视觉等众多领域中取得了令人瞩目的成绩,各研究机构和互联网企业纷纷将相关知识应用于点击率预测问题,并为此做了许多研究和探索,取得了诸多出众的成果。本文通过综述近年来点击率预测相关的论文发现:点击率预测的准确性主要受到数据特征规模大、维度高和稀疏性等因素的影响,如何有效地从这些特征中获取有用信息成为问题解决的关键所在。同时,在对用户行为序列特征的利用上还有很大的提升空间,如何从行为序列中挖掘出用户的兴趣,是很多研究人员关注的重点。本文将采用基于注意力机制的点击率预测研究方法,着重探讨特征交互和用户时序行为对于点击率预测的影响。论文主要工作以及成果如下:（1）点击率预测方法和模型综述。对近年来在各个场景中应用较为广泛的点击率预测模型进行归纳分析,并对各个模型的基础模型和结构特点进行分类总结,特别是对具有代表性的模型的框架原理进行了全方面地阐述。并在此基础上,对不同的注意力机制进行了详细地列举。（2）使用注意力网络作为核心优化方向,提出基于因子分解机和注意力网络的多阶特征交互模型MoFM。该模型能够充分挖掘特征的高阶交互信息,同时结合因子分解机来挖掘特征的低阶交互,囊括了传统机器学习和深度学习的优势。通过在三个公开数据集上进行的实验结果证明,该模型在AUC和Logloss两项评估指标下都优于现有的同类型模型。（3）在MoFM模型的基础上,以捕捉用户行为序列为优化方向,提出结合特征交互和行为序列的联合点击率预测框架。Joint CTR框架集成了四种类型的预测模型,每种模型都学习不同类型的特征,包括原始特征、二阶嵌入特征、高阶交互特征和序列特征。Joint CTR框架具有良好的灵活性和可伸缩性,可以根据实际应用需求（例如切割模型或替换相同类型的模型）调整框架中的模块。为了提升高阶特征学习准确率,采用在MoFM模型框架中提出的基于注意力机制的高阶特征学习模型Horder CTR,建立了一个带有残差连接的多头自我注意网络,以自动识别高价值的高阶特征组合。为了对行为序列进行学习,在文中提出序列特征学习模型Seq CTR。该模型基于门控循环单元（GRU）和带有注意更新门的AUGRU,在两者之间添加了注意力层,以获取一系列行为中更重要的时间点。（4）使用四个不同领域的公开数据集来验证所提出的模型框架。实验结果证明,Joint CTR模型在AUC和logloss两项评估指标下都优于现有的同类模型。Joint CTR框架不仅具有更优的性能,同时也具有很强的灵活性和可拓展性,通过组件裁剪和同类模型替换等操作以满足不同的业务需求。