基于注意力机制的点击率预测模型的研究与应用

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:lsj111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
点击率预测的主要方法是根据用户个人资料、用户历史点击记录、物品资料等信息从用户、物品或者时间等维度进行建模,对用户接下来的点击物品的概率进行预测。无论在计算广告领域还是推荐系统领域,点击率预测模型都扮演着十分重要的地位。目前特征交互学习和序列建模是基于深度学习的点击率预测模型的两个主要研究方向,现有的模型也都取得了不错的效果,但是仍然有一些需要解决的问题:(1)在特征交互学习方向,许多模型只是简单地使用内积和Hadamard积进行特征交互的计算,而在此过程中忽视了不同交互特征对点击率预测结果有着不同的影响;(2)在序列建模方向,用户短期偏好和通用偏好会对用户接下来的点击行为产生不同的影响,在通用偏好捕获方面,现有的模型更注重物品Embedding向量层面(union-level)的关系而忽视了物品Embedding向量内元素层面(point-level)的关系。注意力机制能够通过权重分配从输入特征中提取有用信息,本文通过结合注意力机制对上述问题分别提出改进的模型,并结合所提出的模型构建了在线商品推荐系统,本文的具体工作内容如下:(1)针对特征交互学习中现有工作忽视不同交互特征对点击率预测的影响不同的问题,本文提出的SEFM(Squeeze-and-Excitation Factorization Machines)模型通过结合因式分解机对注意力机制的一种SENet进行改进,为交互特征赋予不同的权重,并在此基础上提出了基于SEFM的点击率预测模型。本文提出的基于SEFM的点击率预测模型在Movie&TV数据集、Video Game数据集和Movie Lens数据集上的AUC值分别是0.8612、0.7880和0.9203,证明了该模型的有效性。(2)针对序列建模中现有工作在通用偏好捕获时忽略物品Embedding向量内元素之间的关系的问题,本文提出的基于Lambda层卷积序列嵌入(Lambda layer based Convolutional Sequence Embedding,LCSE)的点击率预测模型使用线性注意力机制Lambda层通过权重分配的方式从用户点击历史中学习用户通用偏好,并在此基础上分别使用水平过滤器和垂直过滤器从union-level和point-level捕获用户通用偏好。LCSE模型在Electronic数据集、Movie&TV数据集和Movie Lens数据集上的AUC值分别是0.8707、0.9036和0.9467,证明了该模型的有效性。除此之外,由于多了时间维度的信息,LCSE模型相比较常见的基于特征交互学习的点击率预测模型往往能取得更好的预测结果。(3)点击率预测模型在推荐系统中常常被放在排序模块获得对推荐结果更准确的排序,本文围绕本文提出的SEFM模型和LCSE模型构建了一个分布式的在线商品推荐系统,其中推荐模块由召回模块和排序模块组成。本文提出的SEFM模型更注重用户和目标物品特征交互信息的挖掘,LCSE模型更注重用户历史偏好信息的捕获,因此排序模块使用通过加权方式综合SEFM模型和LCSE模型的多路排序方法。经过编码、测试和部署,所实现的在线商品推荐系统能够达到预期的要求。
其他文献
近年来随着深度学习的发展,人工智能的应用场景已经逐渐贴近我们的生活,城市街道场景、监控场景理解均要求对视频图像具有精确的语义分割,该问题已成为当前研究热点之一。本文通过研究基于深度学习的语义分割方法,提出了一种基于Deep Labv3+改进的语义分割模型,来改善城市街景语义分割精度,并将算法在城市级监控质量评价系统平台进行了尝试。主要的工作内容及创新点如下:(1)解决Cityscapes数据集的数
学位
当今计算机视觉技术发展迅速,各类用于研究机器视觉的软件下的算法技术层出不穷,随着计算机视觉技术的迅猛发展,人体行为分析技术研究作为机器视觉领域重要的研究方向已经在许多的场景中得到应用,得到了人们的广泛应用。其中,人体跌倒行为分析对居家场景下老人跌倒后的及时救助具有重要意义。本文借助群体智能和元胞自动机思想开展了人体行为分析的研究工作,主要工作如下:(1)研究了目前有关人体目标检测的算法理论,介绍了
学位
语音作为最便捷的交流方式之一,包含丰富的语义信息、说话人个性信息和情感信息等。语音转换任务是改变语音中的说话人个性信息,目标是将源说话人语音中的个性信息转换为目标说话人个性信息,同时保持源说话人语音中的语义信息不变。跨语种语音转换作为语音转换领域的一个重要分支,在语音交互系统、国际文化交流等方面具有十分重要的应用价值。近几年,得益于深度神经网络的建模能力,跨语种语音转换领域发展迅速,各种基于深度神
学位
与基本结构偶极子天线相比,八木天线具有增益/方向性高、易于安装和成本低等优点。自1926年被发明以来,八木天线得到了广泛应用。为了提高八木天线增益,可以增加引向器个数;为了提高八木天线的带宽,可以增加振子半径、采用套筒振子、引入多模谐振,等等。然而同时实现宽带化和高增益设计,始终是八木天线设计的挑战性难题。近期研究发现,与一维半波振子相比,二维全波振子不仅能够带来宽带高增益性能,而且还能保持波束内
学位
自石墨烯被成功剥离以来,为满足二维材料在实际应用中的需求,了解并调控它们的磁性和自旋性质尤为重要。但是二维材料在被剥离到少层甚至单层的时候,尺寸基本在微米量级,尺寸有限而且磁性不管是本征的还是非本征的,都非常微弱。如何从小尺寸样品中提取出微弱的磁信号成为科研人员不得不面对的一个问题。而磁光成像技术由于其无接触、无损伤、高分辨、高精度等特点,常被用于磁性材料的磁性研究中。磁光成像技术在近几年得到了快
学位
随着对纳米光学的深入研究,更低损耗更高集成度的光子器件成为研究的重点。混合等离激元波导在低损耗方面的表现优越,成为广大学者的研究对象,因此取得了突破性研究进展。本论文旨在研究低损耗混合等离激元波导的传输性能,通过将混合等离激元波导和布拉格光栅及啁啾结构结合应用,设计出了具有优越禁带效果的TM模式滤波器。同时通过拱柱形芯混合等离激元波导设计出了一种结构紧凑且消光比高插入损耗低的TM通偏振器。本文主要
学位
二维材料凭借特殊的层状结构、优异的物理性质以及在光电应用等众多领域具有巨大研究潜力和应用前景而备受关注。然而,在实际器件应用层面表现出稳定、高性能的二维半导体材料还需要研究人员去进一步探索。基于以上背景,本论文以范德瓦尔斯硒化物γ-InSe和FePSe3为切入点,重点借助拉曼光谱仪系统研究了薄层InSe环境稳定性和FePSe3单晶自旋声子耦合效应。以下是本论文主要研究成果:1、对γ-InSe单晶进
学位
随着互联网信息量的爆炸式增长,以及无线通信技术的成熟,一些基于位置的社交网络(LBSNs)出现并蓬勃发展。用户通过移动设备在兴趣点(POI)进行签到,在社交网络上共享现实世界的生活体验。POI推荐是LBSNs中重要的任务之一,向用户推荐其尚未探索的POI,在人们的日常生活中发挥着重要的作用。因此,基于POI的推荐系统具有重要的研究意义。用户交互行为数据的稀疏性始终是推荐系统中十分困扰的问题,尤其是
学位
随着无线通信的迅猛发展,无线感知技术在工业和学术界都受到了极大的关注。室内定位以及人员动作识别在生活各个方面得到广泛应用。针对复杂环境下感知技术存在的问题,本文利用机器学习算法,研究基于信道状态信息(CSI)幅度分解的动作识别和位置估计算法。论文主要工作包括:(1)研究人员动作识别和位置估计的基础知识。首先介绍常见的动作识别和位置估计的测量值,然后描述了现有基于机器学和CSI的动作识别和位置估计模
学位
作为物联网应用的一项核心技术,无线传感器网络(Wireless Sensor Networks,WSNs)如今已被广泛应用在工业、农业、智能家居等领域。然而,由于传感器节点携带的电池能力有限,无线传感器网络的能量问题成为限制其发展的主要因素。随着无线充电技术的发展,使得采用可移动的机器人或者充电车(Mobile Charging Vehicle,MCV)为传感器网络中的节点补充电量的方式成为现实,
学位