信息检索领域中的点击率预测和个性化推荐问题中存在大量多字段分类数据。这类型的数据主要呈现以下特征:有多个不同字段,且每个字段与其他字段间没有明确依赖关系。与图像和语音的连续数据不同,这类数据在处理之后通常具有高维稀疏性,且不同字段的特征之间存在组合关系。如何提取这种复杂的组合特征对于提升广告点击率预测与推荐系统的性能至关重要。传统的机器学习方法在处理这类问题时依赖繁琐且复杂的人工设计组合特征。深度学习凭借强大的表示学习能力,擅长学习高维数据中的复杂关系,可以用端到端的方式更好地提取高质量的特征。本文研究基于点击率预测的深度学习模型,并对其进行改进,设计了一种基于注意力机制的因子分解机模型和残差网络并行的网络结构,并在公开数据集上进行了验证。主要研究内容如下:(1)对宽深度模型Wide&Deep及其变体进行研究及仿真。研究发现其核心思想都是通过融合线性模型和深度模型分别提取低阶和高阶的组合特征。通过实验,得出了这类模型目前存在的不足,为后续模型的优化提供研究思路。(2)为进一步提高宽深度模型对复杂组合特征提取的能力,本文设计并实现了因子分解机与残差网络并行的模型结构FM&ResNet。模型在因子分解机中引入注意力机制为不同组合特征自适应赋予权重;在残差网络部分引入自注意力机制建模组合特征;引入残差连接的结构,使得模型的收敛性更好。(3)本文模型在公开数据集上的实验验证。实验表明,在不显著增加训练时间的基础上,模型的AUC(Area Under Curve)性能指标在Criteo数据集上有0.1%的提升,在Frappe数据集上有2%的提升;引入注意力机制能够有效提升模型性能。最后,本文算法模型在快手公司短视频数据集上的点击率预测也取得了良好的效果。