论文部分内容阅读
在当今快速发展时代下,随着移动互联网的快速发展,由此带来的巨大便利正慢慢渗透到人们日常生活中,覆盖到衣食住行的方方面面。无论是线下O2O平台如美团、大众点评;还是电商平台如京东、淘宝,其中的商品服务和店铺管理呈现指数级别的增长,内容庞大且特色各异,面对数量庞大的商品和店铺,如何从中找到自己最满意的成为能否提升商品或店铺的浏览点击率和交易转化率的关键。因此利用搜索引擎的快速检索性质,将搜索引擎与推荐系统相结合应用到电商领域,提出了一种基于Elasticsearch的电商推荐系统架构。本文在电商领域设计并实现了一个基于Elasticsearch的分布式电商推荐系统搜索引擎,首先,介绍了课题的研究背景和意义,并对国内外搜索引擎的研究现状进行了分析,然后介绍了系统的实现过程中涉及到的技术和算法,其次阐述了系统的功能性与非功能性需求、技术方案,架构设计,技术设计与系统实现,最后对系统进行了测试与性能分析,通过点击率预估模型得出可解释且有实际意义的评价指标,即对用户的浏览点击率和交易转化率有了明显的提升。在系统搜索部分,本文介绍了Elasticsearch搜索引擎的全文检索能力,结合TMDB开源数据源来设计Elasticsearch多字段查询和打分原理,并实现可自定义打分排序逻辑。其可通过中文分词器完成中文分词,借助logstash-input-jdbc构建全量及非实时增量索引,在搜索引擎架构中,通过定制化分词器以及同义词扩展去丰富搜索准确性,并且通过一个词性分析以及相关性重塑的算法,打造一个可理解语义的搜索引擎。在系统推荐部分,本文采用关键词提取算法、多路召回推荐算法、混合GBDT和LR模型的排序算法,实现面向用户数据的个性化推荐和在线点击率预估。本文推荐系统适用于具有物品和评价的推荐系统,比如电影推荐系统、商品推荐系统,同时恶意评价过滤的有效性需要积累大量用户原始数据,在本文中实现的推荐系统在用户数据较少阶段,恶意评价过滤只能依赖公开数据集,在系统数据积累足够后,切换为历史用户评价。本文最终实现的是一个结合推荐和搜索的电商系统,结合用户的历史行为使用不同的推荐算法混合实现推荐召回和推荐排序,通过展示各主要功能模块详细设计方案说明系统实现过程。在最终的系统测试部分,对于不同的推荐算法进行了点击率预估对比,在测试结果中发现系统召回率和准确率均有提高,影响浏览点击率和交易转化率也有所提高。