论文部分内容阅读
推荐系统是信息过载问题下所采取的解决方案,用户在面临海量的信息时如何有效地发现自己真正所需的信息是推荐系统需要解决的首要问题。好的推荐系统可以利用用户、物品的信息以及历史交互信息,为进入系统的用户返回对应的推荐列表,帮助用户节省时间的同时满足用户需求。基于以上优势和适用场景,推荐系统在多个领域得到了广泛的应用,从电子商务平台到社交媒体,根据供应服务商的业务目标服务大众。随着推荐系统二十年来的发展,有两个研究问题急需解决:1)为满足高评估指标需求,推荐系统算法模型的结构越来越复杂,导致模型中超参数的维度扩增,若实验者不公布超参数的设置将很难复制算法模型效果;2)相较于图像识别等成熟的研究领域,推荐系统领域还处于发展的状态,缺乏一些基准模型对比的指南,使得一些新发表论文的对比实验中基准模型未得到充分的调优,在这样的实验结果下得到的新模型效果优于基准模型效果的结论是站不住脚的。上述两个问题中有个共通的解法是实现模型最佳表现的自动复原,换句话说,若能寻找每个基准模型使用哪种超参数搜索算法,能有效寻找到最佳的超参数组合,从而就能在文献缺乏相关记载时通过实验自动返回特定模型的(最)优表现效果,达成复刻实验的目的;此外,若能自动返回基准模型的最佳表现效果,那么问题二也就迎刃而解,实现推荐系统领域的公平性比较。接下来是有关于本文主要研究问题的介绍。本文首先介绍了研究内容的背景以及研究的意义,接着概括性地讲述了本文的研究内容、研究方法与研究结构,在此基础上展示了论文的主要贡献。随后根据推荐系统算法与超参数搜索算法两大类型算法的底层逻辑,将两类算法分别做了归类与文献回顾,其中将推荐系统算法领域中的模型按照技术分为基于内容的、基于协同过滤的和基于表示学习的推荐系统算法;将超参数搜索算法领域中的模型按照底层概念分为基于采样、基于贪心式、基于模型与基于超梯度的超参数搜索算法。最后从四类搜索算法中选取了现目前为止影响力较大的七种算法,分别是基于采样的超参数搜索算法中的随机搜索、Hyperband搜索和BOHB搜索,基于贪心式的模拟退火算法Anneal,基于模型的超参数搜索算法中的基于高斯过程的贝叶斯优化GPBO、TPE搜索和SMAC搜索。根据本文设定的研究目标,首先从八个与推荐系统相关的顶级会议Rec Sys、KDD、SIGIR、WWWW、IJCAI、AAAI、WSDM和CIKM中收集了141篇2017年到2021年间的文献,通过对文献实验数据集、对比基准算法与评估指标三方面的统计,加上尽可能全面地覆盖推荐系统算法领域以及数据集领域的考虑,最后挑选出k近邻Item KNN、纯奇异值分解Pure SVD、矩阵分解BPRMF、因子分解机FM、基于深度学习的Neu MF和基于图的NDCG六种推荐系统算法,以及音乐数据集Last FM、电影数据集Movie Lens-1M和评论数据集Epinions。在本文的实验部分,针对每一个数据集,结合超参数搜索算法对每一个挑选出来的推荐算法进行自动调参,再利用调试好的模型对每一个测试集上的用户生成长度为5和10的推荐列表,根据推荐列表与真实列表之间的差异返回使用特定超参数搜索得到的推荐模型在此数据集上的效果评估。根据汇总的实验数据可以发现,针对于数据集大小的区别,若数据集较小,使用简单的模型比如Item KNN、Pure SVD和BPRMF结合充分调优进行推荐便可得到较好的推荐效果;若实验数据集较大,则使用更为复杂的推荐系统模型如Neu MF和NGCF进行推荐得到的效果更好。从搜索算法的采样路径可以看出,随机搜索的样本点较为分散,基于模型的超参数搜索算法随着运行时间的推进会更加倾向于表现较好的超参数空间,而Hyperband和BOHB这两个借助提前终止的思想使其在更短地时间内采样更多的样本点。最后根据实验的评估指标汇总可以得到,Item KNN、Pure SVD、BPRMF和FM这四个推荐系统算法适合使用Anneal或TPE搜索算法调优;而结构更为复杂、资源要求更高的Neu MF和NGCF算法则更加适合使用Hyperband或BOHB搜索算法调优。此外,为保证实验的鲁棒性不推荐使用随机搜索进行调优,为保证实验中超参数数据类型的拓展性不推荐使用GPBO调优。