面向点击率预测的深度学习算法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:sgrwflh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网以及大数据技术的飞速发展,广告行业发生了颠覆性的变革,从传统的广播、电视广告逐渐转向能够实现精准投放的互联网广告。点击率预测是互联网广告实现精准投放的关键,与用户体验的满意度以及广告商的经济收益息息相关,因此得到了业界研究者们的高度关注。目前,基于深度学习的点击率预测模型研究已成为该领域的主流趋势,已有的研究虽然取得了较好的成果,但仍存在以下不足:(1)深度模型通常采用三层或四层的前馈神经网络来探索高阶特征交互信息,但随着网络层数的增加会出现梯度消失、退化等问题,从而限制模型性能的提升;(2)用户兴趣是提高点击率预测性能的关键,现有模型通常采用LSTM、GRU等门控神经网络来提取用户历史行为序列数据中潜在的用户兴趣,但这些网络存在序列依赖关系,无法实现并行化处理,因此模型训练效率低;(3)用户兴趣会随着内外部因素的变化而发生转移,而用户兴趣的变化过程直接影响用户后续的行为,但现有深度模型较少考虑用户兴趣变化对点击率的影响。针对问题(1),本文利用内积与哈达玛积的混合积交互方式探索低阶的组合特征信息,并将门控机制引入残差网络中,分别设计了密集门控残差网络和跳跃门控残差网络以缓解前馈神经网络存在的问题,在此基础上构建相应的门控残差网络模型。为了进一步增强模型探索特征交互信息的能力,本文利用门控策略自适应地融合这两个门控残差网络模型,构建了门控残差网络融合模型。在Ipinyou数据集上进行的数值实验结果表明本文所提出模型的预测性能均优于现有主流预测模型。针对问题(2)和问题(3),本文提出了基于用户行为序列的分层注意力预测模型。该模型首先构建了一种具有辅助损失函数监督的Transformer网络来提取用户历史行为序列数据中潜在的用户兴趣,旨在提高模型的训练效率以及捕捉更有效的用户兴趣。在此基础上,本文结合注意力机制的局部激活特性以及最小门控单元(MGU)的序列建模特性,构建了一种带有注意力输入的最小门控单元(AIMGU)来激活与目标广告相关的兴趣并建模用户兴趣的演化,从而获得更精准的用户兴趣特征。最后,本文将用户兴趣特征与广告等其它特征进行拼接,分别输入密集门控残差网络和跳跃门控残差网络中进一步探索高阶特征交互信息。在Amazon数据集上进行的数值实验验证了本文所提出模型的优越性。
其他文献
在经济全球化与金融国际化的背景下,全球金融活动对中国金融行业的发展产生重要影响,而翻译作为语言工具,在沟通国内外金融信息时起到了重要作用。国内外已经有不少关于金融类文本的翻译研究,但是这些研究多从语法和术语的翻译角度出发来探究译文的准确性,却少有从语篇角度来探究如何使金融译文衔接的更加连贯,因此有必要对此领域进行补充。本次翻译实践报告是在完成金融英文教科书《金融交易与投资》(Financial T
学位
本报告是基于对Matthew Isaac Cohen所著一书《印尼殖民时期斯坦布尔戏的兴衰》第4-6章节的翻译实践所做出的总结。该作品生动地介绍了十九世纪末印度尼西亚发展起来的流行剧团斯坦布喜剧团,同时也对印度尼西亚殖民时代与后殖民时代背景下欧亚人的新身份进行了深入分析。《印尼殖民时期斯坦布尔戏的兴衰》符合非虚构文学的本质特点,既具有真实性,又具有文学性,兼具信息型文本和表情型文本特征。作品内容真
学位
为促进全球经济发展,亚洲开发银行(亚行)通过贷款、技术援助、赠款和股权投资为其成员体及合作伙伴提供援助。亚行的工作语言是英语,为了让有意愿申请亚行贷款的中国项目办理解相关政策文件,准确汉译亚行文件具有重大意义。笔者受委托对《亚洲开发银行项目管理须知》中第5.01-5.07部分进行汉译,该部分主要介绍了亚行对借方和执行机构的要求以及项目变更的处理程序和工作。笔者在莱斯的文本类型理论的指导下,从原文的
学位
2020年国务院编制了2035年远景目标纲要草案,指出建成文化强国是实现社会主义现代化远景目标的其中重要一环。为建成文化强国,除积极推动中国文化走出去外,继续引进世界优秀作品也必不可少。基于《比较艺术:东方与西方》英汉翻译项目第一、二章的翻译实践,本报告探讨了艺术著作类文本的翻译难点,以及此类文本的译策选择问题。具体翻译实践中的难点问题主要有:一是艺术术语中多义词和宗教文化负载词翻译难度较大;二是
学位
病证结合是中西医结合临床的最佳模式,具有原始创新的重要价值.冠心病是危害人类健康的重大疾病,中医药以血瘀证为关键证候发展了冠心病病机新认识,从定性到定量确立了冠心病病证结合量化标准及诊断新标志物,以循证方法证实了相关药物的临床疗效与安全性,采用现代科学技术方法深入探索了以活血化瘀中药为代表的中医药防治冠心病的作用机理,构建了以病证结合为特色的冠心病中西医结合防治策略.病证结合血瘀证诊断标准的制定实
期刊
NMLI模型是一种新型神经模型,该模型通过在不同层次模拟人类大脑神经元的活动规律及连接特点建立,具有良好的小样本学习性能,在认知和机器学习领域具有较好的应用潜力,已在图像分类与聚类问题中取得一定的成果.但是,目前对该模型的研究存在一些不足之处,如,该模型的动力学性质并没有得到深入的研究,对于该模型解的存在性和稳定性的讨论很少;在利用该模型处理图像分类任务时,现有方法存在与人的认知特点不相符合之处,
学位
分形集通常具有自相似性,即其整体与部分以某种方式相似,利用自相似性可定义自相似集.对非重叠的自相似集放宽对压缩比和相对位置的要求,可以得到一类非常重要的分形集:Moran集.Moran集被国内外许多分形几何学者广泛研究.本文研究一维Moran集的拟对称packing极小性和一维齐次Moran集的Hausdorff维数.关于一维Moran集的拟对称packing极小性问题.本文第三章研究了两类一维M
学位
在本论文中,主要研究了在Steklov边界条件下,临界双调和问题:(?)非平凡解的存在性和非存在性.其中λ,μ,k∈R,Δ~2=ΔΔ表示N维双调和算子,B是RN(N≥5)中的一个单位球,2**=2N/(N-4)(N≥5)是H~2(B)→L2**(B)的一个Sobolev指数并且uν是u在单位球的边界(?)B上的外法向导数.通过对λ,μ和k给予一定的限制,分别利用山路定理和Pohozaev恒等式证明
学位
多属性决策问题在人们的日常生活中非常寻常。它作为一种决策活动现已存在了很长时间,是人们生活中必不可少的活动。这在人们的生活日常,政治发展和其他方面都经常性地有应用。决策在诸如现代政治,经济学,医学,军事等关键决策问题中发挥着越来越重要的效果。这也是现代多属性决策理论的主题。广泛应用于管理,经济,军事等范畴。现有的不确定性决策理论在某些决策办法中存在缺点,造成排序结构与决策者偏好之间的不一致。这是不
学位
受Gregori等人的启发,在一些开放方向的指导下,利用连续t模相关的剩余算子→*,提出了模糊偏度量空间中Cauchy序列、收敛序列和完备性的概念.在这些概念的基础上,引入了模糊偏度量空间中2类模糊Η—压缩映射和模糊φ—压缩映射的概念.同时,给出了相关的不动点定理以及模糊压缩映射之间的关系.
学位