基于自注意力机制的长短期序列推荐算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xxn1954
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息时代飞速发展,给人们生活带来便利的同时也带来了信息过载。推荐系统作为一种重要的工具在各种在线平台上为消费者带来了极大的便利。神经网络和注意力机制在自然语言处理等序列任务上有着突出的表现,因此也被迅速应用到了推荐系统中。神经网络相关的推荐算法主要是通过多层感知机来获取用户的总体偏好,而注意力机制相关的方法则主要利用其能够获取序列重点的特性来实现用户序列推荐。这些方法在隐式反馈推荐上分别取得了很好的效果,但是后续的研究却发现,这样的方法并不能很好的获取用户序列更深层的特征和关系。
  为了提取用户序列深层次的特征并提升推荐性能,提出了一种使用神经网络和自注意力机制来结合用户长期与短期特征的序列推荐方法。一方面通过向量组合拼接的方式来组织用户与物品向量,并使用多层神经网络来学习用户与物品的交互关系,能够根据用户以往的所有交互信息获取到用户的全局长期特征。另一方面使用基于自注意力机制的序列推荐方法,通过用户交互序列中最近的部分历史交互信息来学习序列物品之间的自注意力权重,并提出新的自注意力计算方法来提取用户序列维度之间更细粒度的关系,进而根据这些近期物品信息获取用户的短期序列特征。最后使用融合策略综合考虑两种方法来对目标用户进行推荐,实现兼顾长期与短期特征。
  对于所提出的基于自注意力机制的长短期序列推荐方法,在Amazon和MovieLens的多个数据集上进行了大量的实验验证,并与目前流行的一些推荐方法进行对比。结果表明在相同的实验环境下,基于自注意力机制的长短期序列推荐方法在一定程度上超越了当前主流的一些协同过滤推荐以及序列推荐算法。
其他文献
云计算近年来在工业界越来越普及,这主要得益于虚拟化技术的成熟和容器技术的发展,将应用以容器方式部署在云环境中已非常普遍。无服务器计算是基于容器技术衍生出的一种新的云计算范式,容器为无服务器计算带来了无显式管理成本、按用量计费、弹性扩容等优势。然而这种计算范式将传统的宏应用分解成无状态的细粒度函数,当突发负载到来时,无服务器计算平台启动大量容器并初始化函数执行环境(即冷启动),这会带来显著的启动延迟
学位
容器虚拟化技术因为其轻量的特点,已经在云中被广泛使用。Docker是目前最受欢迎的容器框架,原因是它可以将应用及其依赖打包成一个独立的容器镜像。通过容器镜像,用户可以方便地存储、部署容器。当前Docker采取了层级结构构建镜像,使得容器在存储和部署时相同的层只会被存储和拉取一次。然而,当前层级结构下的镜像会在镜像中引入冗余数据和不必要数据,造成容器存储和部署的低效。调研DockerHub上使用率前
在大数据、物联网和5G时代,随着各类智能终端、智能应用和传感器的普及和发展,数据呈现快速动态增长的趋势,需要面对流式数据的应用也越来越多。流式数据中虽然蕴藏着巨大的潜在价值,但因其具有增长迅速、持续不断、时效性强等特点,如何对流式数据进行高效、动态的挖掘分析成为重要的课题。  基于张量的多聚类作为聚类领域在高阶数据上较为先进的方法,能够在多个不同维度上对高阶大数据进行多模态分析挖掘。目前关于张量多
学位
随着私家车的普及和交通体量的增大,智能交通监测技术已经得到了越来越多的关注,智能交通监测可以支持一系列应用例如交通堵塞疏导,智能交通管理和自动驾驶辅助等。而针对于一些需要低投入,部署范围广,方便扩展的特定场景如乡村道路监测,特定时间和路段的交通量调查等,如何实现便携的,有效的,易扩展的,低成本的,便于部署的以及鲁棒性强的智能交通监测就尤为重要。  通过测量细粒度的无线信号信道状态信息的变化实现智能
随着RDF(ResourceDescriptionFramework,资源描述框架)数据的逐渐增多和SPARQL(SPARQL Protocol and RDF Query Language)查询处理场景的日益丰富,查询计划的生成面临很多挑战。一方面,现有的RDF查询处理系统在生成查询计划时比较耗时。另一方面,这些系统在生成查询计划时对代价的估计不够准确,且较少考虑查询执行的并行技术,使得查询执行
深度学习作为最强大的数据挖掘技术,在各个领域都有着广泛的应用前景。然而在基于云计算的服务模式下,如果用户数据中存在隐私敏感信息,那么将存在潜在的隐私泄露风险。同时,深度学习算法提取到的中间特征不具有抗隐私分析能力,也存在对应的隐私泄露风险。  针对深度学习应用在推理阶段面临的用户数据隐私泄露风险,模型分割部署模式基于深度神经网络层级连接的特点,将神经网络从中间层一分为二,分别部署在客户端与服务器端
学位
近年来,图规模和图数据量的快速增长使得分布式图计算吸引了越来越多研究者的注意。拥塞模型是分布式算法设计中最常使用的模型之一,然而带宽的限制使得一些复杂的图计算问题在时间复杂度(在分布式算法中多用轮数复杂度表示时间复杂度)上往往难以令人满意。分布式图性质测试是一种可以有效降低算法轮数复杂度的方法:根据给定图具备或者ε-远离目标性质,图性质测试算法会相应地以一定概率(通常为2/3)输出肯定或否定结果。
深度学习训练过程中,训练数据的传输路径一般为从磁盘到DRAM,然后再到GPU内存。该路径的效率很大程度上受限于磁盘I/O的性能。非易失性随机访问内存(Non-volatile Random Access Memory , NVRAM )提供了一种新的解决思路。NVRAM容量大,读取速度快,但写入速度相对较慢,因而通常和DRAM组合成混合内存系统,以改善系统性能。然而,目前绝大多数深度学习系统尚未挖
学位
随着社会公共安全需求的不断增长,高清监控设备已经遍布城市的各个角落,人们的一言一行都以图像序列的形式保存下来,传统的基于人眼分辨的模式不论是在成本还是效率方面都显得力不从心。行人重识别(Re-ID)的任务就是解决跨摄像设备下的行人匹配问题,通常被认为是目标检索的子任务,主要是利用行人步态动作、身体特征等更为全面的信息来识别人物,基于深度学习的行人重识别算法已经是当下一个热门的研究方向。  对比学习
学位
在分布式深度学习训练中,梯度和参数的同步通常会带来巨大的网络通信开销。现有的通信优化方法主要包括通过量化或稀疏的方式进行梯度压缩和一些通信模式的优化。然而,现有的方法一般对所有层和所有网络采用同样的压缩方法,忽视了网络中不同层的不同特性及不同网络的差异性,导致优化效果不理想。  针对现有优化方法的不足,提出一种基于模型结构特性的混合通信优化方法——Hylo。采用两种不同的策略对两种不同类型的层(卷