近年来互联网渐渐融入到生活中的每个角落,推荐系统也因此得到了迅速发展,生活中的方方面面可能都会受到推荐算法的影响。推荐算法的优劣在工业界常使用线上推荐产品的点击率来衡量,更高的点击率可以带来更高的产品收入。因而研究员和工程师们一直在致力于通过算法的改进提升产品的点击率,CTR预测模型的研究成为了推荐领域重要的课题之一。本文从CTR预估角度出发,通过对深度学习模型的优化来提高排序算法准确率,进而提升新闻推荐效果。此外,本文还从强化学习角度出发,将其应用到新闻推荐场景中提出新的推荐算法,并且针对利用模拟器评价强化学习模型存在较大偏置的问题,提出了一种离线评估指标。本文做的主要工作和贡献如下:(1)提出了一种基于双交叉深度网络的排序算法。本文提出一种双交叉深度网络(Double Cross&Deep Network,DCDN)提高新闻推荐准确率。该网络是基于深度交叉网络(Deep&Cross Network,DCN)改进的一个算法,可以应用于CTR预估领域,特别是针对新闻推荐场景。模型的特征交叉部分改进为双交叉网络,使其能够侧重某类特征与其他类特征的交叉建模,让模型更加高效准确地学习特征之间的交互信息。模型的深度网络部分对所有特征的高阶非线性交互进行了建模,提升了模型的泛化能力。通过在两个真实数据集上的一系列实验,验证了本文提出的算法优于传统机器学习算法和DCN等一些深度学习算法。(2)提出了一种基于深度强化学习的新闻推荐算法。本文引入了能够解决序列决策问题的深度强化学习,将深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法应用到新闻推荐场景当中,利用生成对抗式学习,让融合Q网络和策略网络优势互补。该算法能够让推荐系统考虑到用户兴趣和新闻内容的动态变化,同时能够使用户连续点击行为带来的长期收益最大化,而不是考虑单次点击行为带来的短期收益。本文基于AUC提出了一种针对强化学习模型的离线评估指标QAUC,该指标能够简单高效的衡量强化学习模型的优劣,方便模型间的比较和离线实验的评估。在真实数据集上的实验结果表明在新闻推荐效果上本文使用的算法优于一些非深度强化学习算法。