基于通道注意力与多粒度特征融合的点击率预测方法研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:superheron
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网发展如火如荼,满足各类商业要求的在线广告不断涌现,与之相关的数据呈现爆炸式增长态势。为应对庞大数据中的信息过载问题,利用物品信息、用户画像和历史记录等数据,对不同用户进行个性化推荐的点击率预测技术应运而生。有关点击率预测的研究,在挖掘用户兴趣、强化宣传效果、优化广告投放成本等方面具有重要的理论与实际价值。然而最近的研究表明,目前主流的点击率预测方法仍存在数据稀疏、特征粒度单一以及特征挖掘不充分等问题。在近年来深度学习浪潮的影响下,利用深度学习发现并挖掘数据中隐藏的特征及组合已经成为点击率预测领域流行的研究趋势。深度学习中的特征粒度分析和通道注意力机制,能够构建更为接近实际复杂数据的拟合函数,在多种维度上对特征进行抽象学习。在深入研究现有点击率预测方法后,该文针对目前点击率预测方法存在的不足,基于通道注意力与多粒度特征融合的点击率预测方法进行研究。分别从双线性积多粒度数据特征表示学习、重要特征及交互信息挖掘和融合动态通道注意力三个方面对研究进行展开,主要工作体现在:(1)提出了一种基于双线性积的多粒度点击率预测方法从特征对点击率预测的影响而言,细粒度的特征表示方式能够保留更多有效信息,为点击率预测提供帮助。但过于细粒度的信息在后期输入神经网络计算时,也会带来计算量的增加以及网络模型学习到更多噪声的可能。而粗粒度的特征表示方式虽然节省了计算量,但在计算过程中以信息丢失为代价会影响模型预测点击率的准确性。因此提出一种基于双线性积的多粒度点击率预测方法,目的是通过从两种不同的粒度学习特征,构建出对特征认识更为丰富的模型。该方法所用的双线性特征积方式,针对广告数据的特点,利用了神经网络学习能力,能够有效地使数据潜在信息得以保留,且该方法无需预训练,而是对嵌入向量建立双线性积操作层拟合多粒度的数据特征。通过多组实验证明,基于该方法建立的模型在准确率和损失等方面都得到了提升和优化。(2)提出了一种基于重要特征及交互信息挖掘的点击率预测方法上述方法能够较好地保留特征中的有效信息,确保拟合结果中尽可能多地包含对用户兴趣具有贡献的数据特征,但是不同特征对点击率预测的贡献度有一定差异。因此,为了更好地挖掘重要特征及交互信息,提出了一种基于通道注意力及交互信息挖掘的点击率预测方法。该方法自适应地实现了对于预测贡献较大的特征和交互信息赋予更大的权重,对于结果贡献较小的则赋予较小的权重,使其能够从众多特征及交互信息中挖掘出重要信息。通过在两个大规模广告数据集上的实验结果比较,发现基于该方法构建的模型能够很好地探索出对推荐结果有重要贡献的数据,证明该方法能够有效提高点击率预测准确性。(3)提出了一种融合动态通道注意力的点击率预测方法之前的方法在通道注意力使用上存在维度压缩的问题,没有考虑使用局部跨通道交互策略,在维持维度的条件下挖掘重要特征并保留有效信息。此外,未能使多粒度特征中的丰富信息用于结果预测,在预测结果泛化多样性上仍有提升空间。因此,提出了一种融合动态通道注意力的点击率预测方法,该方法利用一维卷积有效地挖掘数据中的重要特征,并且通过一种自适应选择的一维卷积核保证了在不过度增加模型复杂性的同时提升模型预测的准确性。该方法通过动态通道注意力对软嵌入层输出的数据进行重要特征挖掘,同时,还利用残差特征交互保留了低阶特征中的隐藏信息。最后将动态通道注意力网络输出的动态通道注意力特征和残差特征通过双线性交互后进行融合,并把融合特征送入隐藏门控残差网络拟合其高阶特征,输出点击率预测结果。通过分析实验数据及结果可以发现,依照该方法设置的模型与现有的流行点击率预测模型相比,有着更优的预测结果。
其他文献
2021年8月11日,中房股份发布公告称:鉴于目前市场环境等原因,决定终止以资产置换及发行股份的途径买下辽宁忠旺精制投资有限公司、国家军民融合产业投资基金公司持有的辽宁忠旺集团100%股权。这意味着忠旺集团第二次借壳上市失败。忠旺集团欲在A股借壳上市的想法由来已久。早在2015年10月,中房股份一纸重大资产重组停牌公告便为忠旺集团借壳上市埋下伏笔,但在2019年8月宣告终止。2020年3月,中房股
学位
采集并分析泉州市耕地表层土壤样品3 607个,应用统计分析方法研究耕地土壤有效硼含量空间分布及其影响因素。结果表明:泉州市耕地土壤有效硼含量整体较缺乏,有效硼含量范围为0.01~1.90 mg·kg-1,土壤有效硼含量平均为0.33 mg·kg-1,79.5%的耕地土壤有效硼含量处于很低或极低水平。土地利用方式、土壤类型、海拔高度、土壤理化性质等均对土壤有效硼含量有不同程度影响,土壤有效硼含量区域
期刊
随着智能交通系统技术的发展,在城市交通环境下通过深度学习技术检测行人和车辆是智能交通系统最基础的组成部分,能保证行人和车辆的安全,在一定程度上避免交通事故的发生。但行人和车辆检测技术仍存在一系列问题:城市交通环境复杂度高、行人和车辆检测速度慢无法满足实时性要求、行人和车辆检测精度低等。鉴于此,本文先研究网络模型轻量化,通过对Tiny YOLOv3网络优化改进,提出一种轻量级行人和车辆检测算法,在保
学位
Based on the Chen chaotic system,this paper constructs a new three-dimensional chaotic system with higher order nonlinear term and studies the basic dynamic behaviours of the system. The modified gene
期刊
近年来,公益众筹在我国被越来越多的人熟知,以轻松筹、众筹网、腾讯公益等为代表的公益众筹平台发展迅速,在游戏、出版、娱乐、医疗、科技等众多领域均有涉足。公益众筹在帮助越来越多的人实现梦想的同时,也存在着诸多的发展弊端,其中资金挪用和骗捐问题尤为突出。正是由于这些问题的存在,导致我国公益众筹工作的发展始终徘徊在初级阶段,想要提升公益众筹活动的社会价值,就要对这些问题给予足够重视。本文主要针对中国公益众
期刊
时间,在当下日本艺术电影的叙事图景中,被暂停、被放缓、被循环乃至重塑,叙事话语在时间领域的探索,令独属于日本电影的叙事节奏和时间面貌得以彰显。时间同样经由空间和身体书写,山川风貌、庭院草木、一餐一饭的空间在场,日常身体语态的时间涌现,使影像叙事的时间综合释放出主体与客体、内在与外在、物与我边界消融的“沉寂力量”。
期刊
随着经济社会的快速发展,大量人群逐渐从乡村往城市迁移,同时,公共场所的监控视频设备越来越多,如何通过监控视频及时获取特定场景的人群数量变得尤为重要。人群计数是计算特定场景中的人群数量,在公共安全、城市资源计算、商业行为分析、交通规划及调度等领域都有广泛的应用。对轨道交通客流进行计数,能够帮助交通管理部门做出决策,动态调整运行车辆及时间,有效提升交通资源的运行效率。网络模型轻量化是深度学习中一个重要
学位
如今科技发展日新月异,视觉SLAM被广泛应用在无人机、无人驾驶、AR、智能家居等众多领域,其技术也取得了惊人的发展。闭环检测作为解决视觉SLAM累计误差的关键技术之一,现有结合卷积神经网络的闭环检测技术已取得了阶段性的成果。但当存在快速移动物体等大型复杂场景下,现有的视觉SLAM闭环检测方法依然存在鲁棒性、准确性和实时性不足问题。本文以CSP-Darknet为基础,依据闭环检测的局部空间特性,改进
学位
全面预算管理近年来越发成为企业战略执行的有效工具,资源合理配置的重要手段,内部控制的辅助手段和业绩评价的重要依据,在许多大型企业得到了广泛应用。A公司是某市一家大型国有独资企业,组建于2008年12月,主要负责统筹某市中心城区供水、污水处理、河涌综合整治、滨水土地及其附属水利设施等涉水项目的投融资、建设和营运工作。作为一家成熟的水务企业,A公司的营业收入趋于稳定,全面预算管理对于公司成本管控和提高
学位
科学技术的快速发展促进了互联网平台的发展与壮大,信息化时代给人们学习和生活提供了很大的便利,这使得用户能够更方便、快捷地通过各种渠道获取各类带有情绪的信息,很大程度上加快了情绪传播的速度,同时也拓宽了情绪传播的范围,但是在用户快速传播情绪的同时也极易在社交网络上引起一些负面的影响。因此,研究社交网络上用户情绪传播的行为与规律,并制定有效的策略来引导情绪传播的方向,对维护社会的稳定具有重要的意义。在
学位