近年来,随着电子商务的快速发展,网购在人们日常生活中扮演着越来越重要的角色。然而随着电商网站的商品不断增加,用户发现越来越难找出感兴趣的商品。因此如何设计推荐系统,帮助用户从海量商品中挑选出感兴趣的商品,逐渐成为当前学术界与工业界热门的研究方向。传统的推荐系统采用静态方式对用户交互信息进行建模,只能捕捉到用户静态的兴趣偏好。不同的是,基于用户行为序列建模的推荐系统能够捕捉到用户动态的兴趣偏好。为了提升序列推荐的精准性,本论文首先借鉴自然语言处理中的预训练任务,对输入进行预训练,创新性地提出了多预训练序列推荐模型。其次,为了丰富预训练输入的多样性与差异性,引入注意力模型对多个预训练模型中的重要信息进行学习。最后基于深度神经网络知识对用户行为序列进行建模,提出了序列推荐模型PMCA-Bi LSTM。本论文主要工作如下:（1）针对推荐系统数据稀疏的问题,提出基于Word2Vec、Glove和Pro NE等模型对输入进行预训练。通过对输入信息预训练,能够学习到用户节点的多跳关系以及全局信息,让模型学习到更丰富、更高阶的信息,一定程度上缓解输入稀疏的问题。（2）针对用户差异化兴趣学习的问题,采用注意力机制来融合多个预训练模型,让物品的嵌入向量带有更多先验信息。同时,在用户序列中也引入注意力机制学习不同用户多兴趣的关系,解决模型学习用户差异化兴趣的问题。（3）针对挖掘用户历史行为序列信息不足等问题,本论文首先采用最大池化以及平均池化等方案去捕捉用户长短期兴趣。其次采用多尺度卷积残差神经网络,使模型能够学习用户序列全局与局部的信息;采用双向循环神经网络替换单向循环神经网络,更好捕获用户行为序列中的双向依赖关系。最后本论文采用残差MLP网络来防止模型过拟合,在不损失有效信息的前提下提升模型推荐精度。最后本论文在亚马逊数据集上做了对比实验。实验结果表明:本文提出的基于用户行为序列数据的推荐模型相比于热门推荐、协同过滤、DNN和图神经网络模型在推荐精度、NDCG等指标上均得到了提升。