多任务推荐排序算法共享参数的研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:caifubaguoguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着信息爆炸,推荐系统应运而生,其中核心的算法部分主要分为三块,分别是召回、排序和重排模块,在这里最为重要的是排序模块,在排序中关注最多的指标是点击率(Click Through Rate,CTR)和转化率(Conversion Rate,CVR),相对于CTR,CVR问题存在数据稀疏和样本选择偏差的问题,数据稀疏指的是训练时CVR数据规模上远远小于CTR数据,样本选择偏差指的是CVR的训练空间只是预测空间的一个子空间,训练样本存在选择偏差问题。目前推荐领域多任务学习的方法大致分为两类:任务关系学习和参数共享。任务关系学习如全量空间的多任务模型(Entire Space Multi Task Model,ESMM)较好地解决了样本选择偏差问题,但是由于其缺乏足够的隐藏层共享,无法充分地解决数据稀疏问题。参数共享方法如多门控混合专家(Multi-gate Mixture-of-Experts,MMOE)由于其设计通用性的特点,没有对CVR的样本稀疏和样本选择偏差做相应的优化。因此本文的研究内容如下:(1)针对现有参数共享模型没有对CVR足够优化的问题,提出了专门针对CVR的参数共享模型—多层不对称门控的推荐排序模型(Multilevel-Asymmetry Gate Control,ML-AGC)。ML-AGC采用了多层共享结构,任务侧采用了不对称的门控结构(Asymmetry Gate Control,AGC),特征侧采用AGC的变体不对称定制门控结构(Asymmetry Customized Gate Control,ACGC)。AGC的结构是硬参数共享和软参数共享的一种结合,也就是将不对称共享和MMOE相结合,ACGC则可以看作不对称性和一致性的折中。由于CTR和CVR拥有相同的特征空间,ML-AGC采用多层共享去拟合这种非线性,同时由于CVR对CTR的数据稀疏性使得二者的信息不对称,ML-AGC采用不对称的参数共享去实现这种信息共享的不对称,这种任务侧的不对称性与特征侧的相同性使得ML-AGC对不同层次采用不一样的参数共享来实现这种过渡。(2)针对任务关系学习和参数共享各自的优缺点,本文将任务关系学习和参数共享相结合,提出了一种新的CVR多任务学习模型—全量空间不对称门控的推荐排序模型(Entire Space-Asymmetry Gate Control,ES-AGC)。ES-AGC隐藏层采用ML-AGC的参数共享,任务关系则采用ESMM结构,解决了数据稀疏和样本选择偏差问题。ES-AGC还在CVR侧加入残差结构用来解决CVR的数据稀疏引起的深层CVR网络更易退化的问题。ES-AGC将每一个特征看成一个专家,采用基于自注意力机制的特征共享层实现特征之间的共享。为了验证本文思路和模型的有效性,在Ali-CCP数据集上对CTR,CVR,点击转化率(Click Through Conversion Rate,CTCVR)的AUC指标进行对比分析。实验结果证明了改进思路的有效性,表明ML-AGC和AGC在单层和多层上均优于基准模型,ES-AGC优于基准模型。
其他文献
高热流密度和狭小散热空间导致的散热问题是高性能电子设备技术进步和发展面临的瓶颈之一,为了保证电子设备工作的可靠性和稳定性,高效可靠的散热方案设计尤为重要。液冷散热器如冷板具有冷却效率高、均匀性好、便于维护等优点,为电子设备高效散热提供了有力手段。冷却通道的拓扑结构往往决定了散热器性能的好坏,而传统设计中多以经验设计为主,存在设计周期长、随机性大等缺点,将拓扑优化方法应用于通道结构设计,提高了设计自
器官分割是医学图像中的一个关键任务,也是计算机辅助诊断(CAD)、诊断干预和疾病的治疗康复计划等任务的基础。在一些放射治疗计划中,需要提前将医学影像中的目标器官精准的勾勒出来。器官标注过程需要大量的人工且非常繁琐,故极易引入人为错误。多器官分割是指使用同一个模型同时分割多个器官,这比单个的器官分割更具有挑战性。一方面,不同器官之间大小差异较大,导致数据驱动的深度学习模型容易忽视包含体素较少的小器官
学位
由于未来移动通信网络容量需求不断提升,学术界对各种可以支持大容量通信的技术展开了深入的研究。其中,多输入多输出(Multiple Input Multiple Output,MIMO)技术被认为是最具潜力的技术之一。然而,MIMO技术的应用仍然面临许多问题,尤其难以为接收端提供一种高效的检测算法。尽管最大似然(Maximum Likelihood,ML)检测已经能够获取理论上最低的误码率,但是其计
随着汽车起重机的不断发展,其在工程项目中的应用也越来越多。由于起重机在吊装时,需要人为的控制与决策吊装过程,所以会不可避免的出现操作失误或方案规划不合理等情况。针对以上问题,本文提出了多任务路径规划算法与吊装规划算法来辅助吊装人员进行吊装的作业。目前阶段汽车起重机在吊装时主要是人工操作,但在其他很多领域,已经开始使用深度强化学习来实现无人操作。作为大国重器,汽车起重机的吊装也正在向智能化方向发展,
糖尿病是一种严重损害人类健康的慢性疾病,可以使用便携式血糖仪监测血糖来诊治糖尿病。在便携式血糖仪芯片中,Flash控制器提供了CPU访问Flash存储器时所需要的时序控制电路。本文结合Flash存储器的特点,设计并实现了一款基于血糖检测SoC系统的Flash控制器。与传统Flash控制器相比,该Flash控制器实现了不同的程序下载方式,包括ICP下载模式、SWD下载模式以及SSP自编程模式,SWD
传统的卫星导航系统通常只能为用户提供导航服务,而卫星导航、通信一体化系统可以同时为用户提供导航定位服务和数据通信服务。相对于传统的导航系统而言,导航通信一体化的系统为用户提供的服务更加全面,卫星移动通信与导航功能相结合也成为当今一个热点的研究方向。到目前为止,几乎所有主流的卫星导航系统均在L频段部署了信号,L频段共存的信号较多,信号间的干扰问题日益严重,寻求新的频段来开展卫星导航业务非常重要。国际
频扫天线相较于相控阵天线,在满足扫描范围的条件下,节省了多个T/R组件,具有成本低、结构简单、容易实现小型化等优点;但频扫天线实现宽角度扫描时传输损耗也较大,两者相互矛盾。针对目前无人机“黑飞”对国家和社会安全带来严重威胁的问题,本文设计了一款用于“低慢小”目标监视雷达的宽角度频扫天线并生产加工出来用于实际工程,实现了对目标角度的测量。介绍了频扫阵列天线的基本理论和波导缝隙天线的辐射原理、多种辐射
推荐系统可以在海量数据中迅速发现用户喜欢的信息,已广泛应用于很多领域。传统的推荐系统根据预测评分的高低将推荐状态分为“推荐”或“不推荐”,这种二支的分类忽略了推荐过程中产生的成本问题;其次,传统的推荐系统没有充分挖掘和利用评分数据的价值,使推荐受到数据稀疏性的影响,难以学习用户的偏好;另外,在传统的推荐系统中,只关注项目与项目之间的相似性关联,即正关联,而忽略了项目与项目之间的负关联。形式概念分析
多目标优化问题广泛存在于工业制造、生产生活中,随着科技的发展和社会的进步,多目标优化问题呈现出大规模的特点。大规模多目标优化问题在车站的路径规划、供水系统规划等场景有重要的应用。尽管多目标优化算法的成果很丰硕,但是对于大规模多目标优化问题的研究还不成熟。大规模多目标优化问题的显著特点是决策变量空间的维度较大,影响了解的搜索效率。本文针对大规模多目标优化问题,主要研究以下几点:1.将高维决策变量空间