推荐系统作为互联网公司的增长引擎,对互联网公司来说,能够极大限度地吸引用户,留住用户,增加用户粘性,提高用户转化率,从而为公司达到商业目标连续增长的目的。各大互联网公司都在大力发展自己的推荐系统。效果好的推荐系统则需要效果好的推荐模型,随着近年来深度学习的崛起,深度学习对推荐系统在推荐模型的发展具有革命性的贡献,与传统机器学习推荐模型相比,深度学习模型一方面具有更强的特征组合挖掘能力,另一方面具有更强的数据模式的拟合能力。在构建推荐系统的过程中,推荐系统模型固然重要,但绝不意味着模型就是全部,特征工程也具有非常大的作用,好的特征往往能达到事半功倍的效果,为了构建出好的特征工程,人们对此进行了大量的研究。腾讯公司作为国内最大的社交网络公司,旗下的产品例如微信,腾讯QQ,腾讯新闻等掌握着巨额的流量,和国内很多很公司进行深度合作,在腾讯的各大平台上通过广告来推广其他公司的产品。为了达成较好的广告推荐效果,需要一个较好的特征工程来帮助模型实现其效果,本文就是在腾讯公司的数据基础上提出一个新的特征扩散解决方案来帮助公司构建好的特征工程。广告主为了获得好的投放效果,往往会将自身旗下的第一方数据上传给腾讯公司。本文就是对其中的第一方行为数据挖掘较为有用的特征,由于一方行为数据较为稀疏,从其中获得的特征尽管在公司离线验证平台上对模型有效,但是特征所包含的用户覆盖程度不够,使得模型的效果不够置信。为了使特征更加令人信服,本文提出了两阶段的模型解决方案来解决用户覆盖度问题。第一阶段为行为生成阶段利用已有的活跃用户画像数据,采用本文改进的Transformer模型对用户行为序列进行生成预测。第二阶段为特征建模扩散阶段利用行为生成阶段生成的用户行为序列,结合腾讯的精准用户画像,通过本文提出的FMBST模型进行时序建模,将在NLP领域中大放异彩Transformer经过改良引入深度学习广告推荐系统,对特征在全量活跃用户进行扩散,进而解决特征的覆盖度问题。本文提出的FMBST模型,对三部分输入进行不同处理。公司内部精准的用户画像通过多层全连接层,用户的历史行为按照时序模型通过Transformer,将二者的输出进行拼接后,交由多层全连接层处理,最后和行业有关的画像通过FM的结果一起对相应特征进行回归。通过和目前主流深度学习推荐系统模型Wide＆Deep,Deep FM,DIN,DIEN,BST相比,本文提出的FMBST在特征回归的效果,线下和线上验证的评估均取得了最优异的成绩。FMBST不仅可以用于相关特征的扩散,还可以用于CTR/CVR预测任务,和主流深度学习模型进对比,同样取得了较为优秀的结果。本文最后总结了FMBST相对于其他所模型的优缺点,并且未来对进一步优化FMBST模型的效果和效率进行了进一步的展望。