论文部分内容阅读
在互联网营销的线上广告应用中,广告点击率预估能够分析广告商业数据中的用户信息、广告商家、检索品类和上下文内容等信息,精准的预测结果可以合理地为互联网公司调整广告投放策略,提高用户线上商业体验。随着深度学习在计算机视觉,自然语言处理以及数据挖掘等方向取得不俗的成就,各大公司以及高校和研究机构也将深度学习的方法应用在广告点击率预估上,并获得了一定的效果。本文通过对前沿的基于深度学习的广告点击率预估方法的研究总结发现,现有的模型在结构上大同小异,想取得更好的表现,都会在高阶特征交互部分进行创新。基本原理均是对经过Embedding之后的特征向量进行串联拼接,然后输入到经过特殊设计的网络中学习高阶特征交互信息。但是,这些方法存在一些缺点,经过Embedding之后的特征向量仅仅进行了简单并且非结构化的首尾相接的串联组合,在输入到后续网络进行高阶特征交互时,学习过程都是逐位并且隐式的,这种方式不能够充分获取高阶特征交互信息,同时可解释性也很弱。基于此背景,本文通过对各种前沿的深度学习方法研究和实验摸索,提出了一种利用图神经网络进行点击率预估的方法,将特征向量的组合引入到图结构中来,特征向量作为图中的节点,利用图神经网络对结构化数据极强的表征能力更加充分的获取高阶特征交互信息。在图神经网络中,每个节点代表原始特征经过Embedding之后得到的特征向量,节点之间的边的权重就表示了特征之间的重要性。因此,特征之间的高阶交互就通过节点的边的交互来完成,使用图神经网络可以显式并且高效灵活的进行高阶特征交互,同时具有更高的可解释性。本文的全部工作包括如下三个方面:第一,首先对目前比较前沿的基于机器学习和深度学习的广告点击率预估的方法进行介绍和总结。然后就常用的基于深度学习的广告点击率预估方法,图神经网络相关技术和Attention的相关原理及技术进行了详细的介绍。第二,本文将近期在计算机视觉领域有突出表现力的图神经网络GNN应用在广告点击率预估场景中,通过利用Attention机制和LSTM技术,提出一种新的图神经网络结构AGNN。在此基础上,结合经典的广告点击率预估方法FM,提出了一种利用图神经网络进行广告点击率预估的方法AGFM。第三,在进行实验时,首先比较设定不同的超参数对模型效果的影响。其次用本文的模型与一些基础模型进行实验结果对比,本文的模型在评价指标AUC和Logloss上都有了不同程度的改善,从而本文提出的方法的有效性也得到了验证。