基于改进FM和深度压缩的广告点击率预估模型研究

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:presk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,互联网用户数量迅速增长,产生了海量数据,许多互联网产品和在线电子商务平台也应运而生。广告对许多诸如淘宝和京东等在线电子商务平台来说至关重要,而点击率(CTR)预估就是这些平台所依赖的一个重要信号。精准的点击率预估不仅能帮助广告平台和广告商增加利润,同时也为用户带来更好的用户体验,方便用户浏览到更感兴趣的商品。特征交互是提升广告点击率预估效果的关键,如何提高模型的特征交互能力是点击率预估模型的重要课题。浅层的点击率预估模型最开始被用于解决一些点击率预估问题,但只是对低阶特征的建模学习,而忽略了高阶特征的交互。随着深度神经网络(DNN)的发展,诞生了许多深度点击率预估模型,这些深度模型在很大程度上提升了点击率预估的效果。但是深度模型又容易忽略低阶特征的学习,因此考虑利用DNN建立一种能够同时有效学习到低阶特征和高阶交互特征的深度模型,增强模型的特征交互能力,提高点击率预估的准确率。然而这样的深度模型会显得过于复杂和冗余,参数量较多并大量占用内存,而且也很耗时。因此考虑对深度点击率预估模型进行压缩优化,在保证模型的点击率预估性能损失不超过0.2%情况下,减少模型参数量,提升模型的计算效率,增强模型的实用性。鉴于以上两点,本文的主要内容有:(1)针对目前点击率预估模型特征交互能力不足,未能同时有效学习低阶特征和高阶交互特征的问题,提出了一种基于改进FM和深度特征交互网络的点击率预估模型(xDAHFM)。首先该模型改进因子分解机(FM)算法,将全息简化表示(HRR)的压缩外积用于FM中,更好地学习低阶特征。其次,加入特征交互层,显式的学习高阶交互特征,增强模型的特征交互能力。最后,利用深度神经网络(DNN)来隐式的对高阶交互特征建模学习,并最后引入注意力机制区分不同高阶特征交互的重要性,更好地学习高阶交互特征,从而得到一种能够同时有效学习到低阶特征和高阶交互特征的深度CTR模型。通过在Cretio和MovieLens-1M这两个公开数据集上的实验表明,相比于其他基线模型,xDAHFM模型的特征交互能力更强,点击率预估的效果也更好。(2)针对所提的深度点击率预估模型(xDAHFM)结构较复杂,参数量较多,训练时间较长,实用性不足的问题,提出了一种基于改进知识蒸馏的深度压缩点击率预估模型(s-xDAHFM)。该模型将风格迁移算法应用到传统的知识蒸馏算法结构中,不仅有利于简单的学生网络模型更好地学习复杂的教师网络模型的点击率预估能力,而且也可以减少学生网络模型训练所产生的误差,提升模型压缩优化的效果。通过该方法将复杂的教师网络模型压缩得到简单的学生网络模型,简单学生网络模型具有和复杂教师网络模型类似特征交互能力,然后利用简单的学生网络模型来进行点击率预估。通过实验表明,在保证点击率预估准确率损失不超过0.2%的情况下,相比于复杂的xDAHFM模型,轻量化的s-xDAHFM模型参数量更少,训练时间更短,实用性更强。
其他文献
声动力疗法(Sonodynamic Therapy,SDT)比较其他治疗肿瘤的手段来说,在高组织的可穿透特性,去离子化以及高控制低成本方面都具有明显提升,尤其是声动力法对治疗组织深部的肿瘤来说更具有优越性。当前,声动力治疗所用声敏剂都可以直接被递送到细胞的细胞质中,而鉴于细胞核对细胞的重要性以及细胞核对活性氧(ROS)的高度敏感性,将其作为药物的最终靶点将会大大提高治疗的效果。鉴于以上,本文基于细
学位
恶性黑色素瘤是由黑色素细胞恶性转化形成的恶性肿瘤,具有高度侵袭性和转移性,其恶性程度和致死率都很高,并且存在预后差的问题,是皮肤癌中最难治愈的肿瘤。传统的二维培养模型已经有助于揭示和研究肿瘤的进展,但是研究表明在二维条件下培养的肿瘤细胞可能会出现某些受体和信号分子的表达减少或完全丢失。因此,最近出现的3D打印技术很可能成为构建体外肿瘤模型的新方法,这种快速、灵活、低成本的技术可以在多层空间控制细胞
学位
随着我国老龄化社会的到来,骨关节炎(OA)已成为中老年人慢性残障的最常见原因之一,造成经济损失,影响了社会的发展。统计显示,在所有导致老年残障的疾病中,OA的致残率仅次于心血管疾病,消耗着大量的家庭和社会资源。OA具有影像学、临床和病理多重定义,影像学是目前诊断OA最常用的方法,但其成像技术只能检测到相当晚期的疾病;临床上使用酶联免疫吸附实验诊断OA,也存在重复性差、易出现假阳性等缺点;在OA病理
学位
肺结节是肺癌早期典型的表现形式,通过CT图像对患者肺结节早期检测与诊断在一定程度上可以降低患者的死亡率,但随着CT图像数据量的增长,影像科医生每天要阅读成百上千张CT图像,高强度的工作会导致医生的疲倦和劳累,容易产生错误判断。计算机辅助技术的出现为医师提供了辅助决策支持。为了更好地为医师提供决策辅助,本文基于卷积神经网络提出新的计算机辅助检测和诊断方法,卷积神经网络具有强大自主特征提取能力,在医学
学位
在近年的农林业生产中发现无论是休耕撂荒地还是林地果园、农田菜地,中华鼢鼠活动频繁,不仅喜食杂草,而且还食用林木果树、农作物、中药材等植物的根、嫩茎及幼苗,轻者影响生长发育,重者造成大片死亡,甚至有些幼嫩小苗会被整株拉入洞中。从中华鼢鼠的形态,生活习性、繁殖、危害及防治方面进行总结,仅供参考。
期刊
近年来,随着电子技术的飞速进步和各种便携、可穿戴智能电子设备的问世,人们的生产生活方式发生了重大变革,同时对能源的获取与利用提出了更高的要求。为了满足压电纳米发电机在可穿戴与可植入等方面的需求,设计具有良好柔性和高度安全的压电纳米发电机至关重要,然而,目前的柔性压电纳米发电机存在输出电压低、柔性差、成本造价高等问题。本文制备了一种基于聚偏氟乙烯(PVDF)和聚丙烯腈(PAN)的柔性压电复合薄膜;研
学位
基于场效应晶体管的生物传感器可以将生物信号直接转为电信号进行输出,具有低成本、高灵敏度、低检测限、便携等优点。其中有机场效应晶体管(OFET)由于其本征柔性、延展性和生物相容性,在生物检测领域有着更广阔的应用前景。聚(3-己基噻吩)(P3HT)是制备OFET的一种典型有机半导体材料,具有高效的π-π堆积结构、可控的区域规整度和良好的生物相容性,并且商业化程度很高,引起了广大研究人员的关注。近年来,
学位
为筛选更加省工省时、操作简单、捕杀效果好的灭鼠器械,笔者在甘肃省子午岭林业管理局合水分局大山门林场人工油松林中进行了5种不同捕杀中华鼢鼠器械的防控效果及对相应试验区内油松保存株率影响的试验研究。试验结果表明:5种器械对林区内的中华鼢鼠均有一定的防控效果,且以回缩式双钎鼢鼠捕杀器捕杀效果最佳。该灭鼠器械制作简单、取材广泛、携带方便、操作容易、捕杀率高。不同捕鼠器对油松的保存率存在显著差异性,其中回缩
期刊
烟雾检测是森林火灾预防与有效扑救的前提。由于实际森林火灾烟雾数据获取困难,形成所谓小样本问题。因此提高小样本分类准确度并解决烟雾小样本图像分类识别问题具有重要研究意义。针对森林火灾烟雾数据集小,迁移学习模型获取困难问题,本文采用深度迁移学习方法对森林火灾烟雾识别进行研究,利用训练好的深度卷积神经网络对烟雾图像进行特征提取,采用基于判别特征对齐的域内规划迁移学习算法。主要研究工作如下:(1)提出了基
学位
近年来,区块链技术的兴起推进着社会中各行各业的发展。根据应用背景不同将区块链分为三种:公有链、联盟链和私有链,其中联盟链的发展最为迅速。联盟链中若干机构共同参与管理,数据的读写和发送交易的操作只允许被系统认可的节点进行。同时联盟链通过分布式记录交易数据,极大程度上解决了各机构合作时伴随的数据隐私性及安全性问题。实用拜占庭容错(PBFT)共识算法是联盟链的核心技术,存在动态性缺乏和拜占庭节点处理方式
学位