大数据中基于信任的推荐系统研究与实现

来源 :辽宁工业大学 | 被引量 : 0次 | 上传用户:qnwy2051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今伴随着互联网的快速发展,大量信息也随之产生,虽然为人们提供了更多价值,但这也意味着用户越来越更难以迅速有效地收集并获取满足其自身需求的信息。推荐系统作为一种常用的并且有效的过滤数据信息的方法和手段,越来越得到人们的重点关注。虽然协作过滤算法易于理解,并仅依赖于用户过去的历史评分数据的特征。但它具有冷启动,数据稀疏和难以缩放的缺点。与此同时,伴随着如云计算等新技术的飞速发展,目前的数据量级甚至都达到了ZB级。数据的大量产生使在单机环境下系统的性能受到一些影响。那么要使推荐系统在大数据环境中也可以获得更好的推荐结果,本文对推荐系统和大数据处理中的关键技术展开了相关研究。本文的主要研究工作和创新点如下:针对冷启动和数据稀疏的问题,提出了一种有关信任在网络上进行传递的模型。首先,根据消费者已有的直接信任关系,利用构建的模型来对消费者之间的间接信任关系进行预测,并且把数据的稀疏性问题有效解决。其次,在信任传播模型的基础上,采用随机游走算法,构建一种基于信任的协同过滤推荐模型,改进了消费者之间的信任度计算,区分消费者之间的信任度更加方便,因此给那些信任度高的消费者更高的权重。最后利用EPN的相关数据集进行相关实验分析与设计,来验证本文所提出的改进模型是否高效。从实验结果可以看出,改进模型可以更好地提高给用户推荐的范围,并减轻诸如数据稀疏之类的问题。与Trust Walker推荐模型相比,该模型在MAE和PS指标上达到了更好。针对在大数据的背景下,改进的推荐模型面对海量数据时的可扩展性和计算效率问题,提出了模型在Map Reduce处理平台上进行并行化的分析和处理,在进行Map Reduce并行化处理时,按照Key-Value相对应的模式,按Key重新排序把一个大的问题并行划分成子问题来求解,然后通过Reduce函数将具有相同键的值进行处理,Map函数的作用是将问题划分为子问题然后求解,Reduce函数是将划分求解后的子问题进行合并处理,最终得到一个结果。得到的结果进行对比实验。从实验结果可以看出,并行化的操作后,模型在解决冷启动问题,减轻数据稀疏性和提高推荐精度的同时,可扩展性和计算效率也表现出良好的效果。总之,本文对推荐系统和大数据处理的关键技术展开了深入的研究,针对大数据环境下,推荐系统所存在的问题提出了构建信任模型的方法并进行并行化处理。本研究结果为大数据环境下的推荐系统里的算法和技术的研究提供了思路,具有一定的借鉴意义。
其他文献
目的:观察补肾通络方治疗肝肾阴虚型类风湿关节炎的临床疗效及对炎症相关因子的影响,在探讨补肾通络方临床疗效的同时进一步了解实验室指标对类风湿关节炎的诊断价值,为类风湿关节炎的诊治提供临床依据。方法:收集上海市中医医院风湿科门诊符合中西医诊断及中医肝肾阴虚型诊断标准的64例类风湿关节炎患者,采用随机对照研究设计方法,将64例患者按随机数字表法随机分为2组,治疗组和对照组各32例。治疗组给予补肾通络方治
高等植物通过GABA支路及多胺降解途径合成γ-氨基丁酸(γ-aminobutyric,GABA),其中谷氨酸脱羧酶(GAD,EC 4.1.1.15)、二胺氧化酶(DAO,EC 1.4.3.6)及氨基酸脱氢酶(AMADH,EC 1.2
我国正处于工业化和城镇化飞速发展时期,环境和资源与社会发展之间的矛盾日益凸显,缓解这一矛盾的根本途径就是建筑节能。而建筑节能需要解决的首要问题就是建筑围护结构的保
当前飞机飞行任务多,任务时间长,对航空发动机及其主要部件的疲劳寿命提出了更高要求。涡轮叶片是航空发动机最重要的热端动力输出部件,也是航空发动机主要故障原因。因此,将涡轮叶片在实际载荷下的疲劳寿命作为航空发动机最重要的寿命监视参数,能够最大程度发挥其寿命潜力,在保证飞行器安全飞行的同时降低经济成本。本文建立了带有气膜冷却结构的带冠扭转涡轮叶片,在此基础上分析涡轮叶片在多种疲劳载荷下的疲劳寿命,并对蠕
近年来,氮氧化物的排放对环境造成不良的影响。脱除氮氧化物的方法受到大家关注,MnOx中含有多种晶格氧,在低温NH3-SCR脱硝中具有较高的脱硝活性。但纯MnO2的活性温度窗口窄,3
目的:课题组前期研究发现,治疗前列腺癌的中药复方PC-SPES中,异甘草素(Isoliquirtigenin,ISL)能抑制前列腺癌细胞LNCa P、22RV1和PC-3的增殖,还能促进前列腺癌细胞的凋亡。裸鼠体内PC-3移植瘤的研究结果表明,ISL能抑制PC-3移植瘤的生长。进一步的研究结果显示,ISL作用于前列腺癌LNCa P细胞后,能显著下调雄激素受体(Androgen receptor,A
随着化石能源的快速消耗和环境问题的日益严峻,燃料电池和空气电池等清洁能源技术引起广泛研究兴趣。这些技术均包含缓慢复杂的氧还原反应,直接影响设备的性能。目前性能最佳
随着GPS、移动网络的飞速发展和智能设备的普及,使得基于位置的服务(Loccation-based Service,LBS)得到广泛的应用,比如美团、百度地图等。这些应用的使用产生了大量的空间-
钻井液连续压力波信息遥测具有抗干扰能力强、传输速率高等特点,目前已成为国内的研究热点。钻井液连续压力波信号是一种频带传输信号,其中钻井液压力相移键控(PSK)调制因其
自冲铆接作为一种快速的机械冷成型技术,适用于连接两层或多层、同种或异种材料,在汽车行业得到了广泛应用。目前,关于三层铝合金自冲铆接的研究较少。本文主要通过试验方法分析三层铝合金自冲铆接的工艺过程,研究三层铝合金自冲铆接头的静态力学特性和动态力学特性,并提出在铆接过程中对铆钉缺陷的在线监测的方法。本文首先基于CMT5205电子万能试验机设计自冲铆接的夹具,通过加工、装配和调试,完成夹具的设计。从而实