论文部分内容阅读
随着我国网民规模接近7亿,互网联页面数突破2000亿,信息爆炸般增长,从中获取有效信息也变得愈加困难。因此也有了许多个性化解决方案来对互联网信息进行筛选提供给人们符合所需的信息。搜索引擎和推荐系统便是两种获取信息的有效手段,前者是用户主动查询搜索所需内容,但常受限于查询格式或者内容完整性,并不容易找到所需内容,尤其是难以查询视频音频等,且智能程度较低。而另一种方式,推荐系统便可以发挥优势,通过分析海量数据信息,分析历史行为信息和用户之间的关系等,对用户进行推荐,免去用户搜索的麻烦。数据是推荐系统的基础。从数据中进行分析才能得到有价值的信息,寻找到其中隐藏的关系。但数据需要保证质量,由此引出数据的清洗环节。数据清洗指将原有数据如日志文件等按规则进行预处理,使数据达到完整性一致性准确性等要求。数据清洗保障了推荐算法的准确性。推荐算法是推荐系统的核心。传统推荐算法在推荐系统中依旧发挥着砥柱的作用,但是对于特定数据特定系统,其效果并不总是理想。针对特定数据进行分析,在原算法基础上进行创新,通过实验数据分析,优化改进,往往能获得更好的效果。综上所述,本文针对华为在线文档推荐系统的工作主要如下:1.首先采集数据,并对数据进行分析。然后制定数据清洗规则,按照清洗流程兑出去进行了预处理。每天新数据到来时定时启动清洗程序,实现清洗自动化。2.分析已有的推荐算法并做出改进。本文采用了协同过滤算法并在此基础上改进算法,针对实验结果进行分析,用转移概率矩阵对原相似度矩阵进行替代,并分析历史浏览信息中的文档类别间的跳转关系,在推荐过程中根据文档类别间跳转比例产生推荐列表。最后结合热点推荐,弥补冷启动的缺点。改进后的算法的各项评价指标提升明显。3.将数据处理和推荐系统进行整合,实现华为在线文档推荐系统,并以网站形式进行展示。网站采用Struts2+Mysql+redis形式,框架为Struts2,其优点为层次清晰,维护效率高。数据库采用了关系型数据库Mysql和内存数据库redis,充分利用前者简洁高效的特点和后者快速查询的优势。