大数据环境下面向邻域粗糙计算流式并行化研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:haole1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着技术和科技的发展,数据量有了爆炸式的增长,在海量数据中用户无法及时获得自己感兴趣的信息,推荐系统能有效解决这个问题。它根据用户的历史数据,将用户感兴趣的信息推荐给用户。但是传统推荐系统中大部分使用的是离线数据集,它按照一定时间(一般是以天为周期)来对数据进行分析,无法保证推荐系统的实时有效性。现今实时数据流越来越多,这也造成在推荐系统中需要处理的实时数据需求越来越多。同时传统的推荐系统还存在冷启动问题,提供给新用户的推荐内容准确性较低,导致用户的体验较差。本文将双论域邻域粗糙集理论运用在推荐系统中,提高推荐系统冷启动准确性;通过构建实时推荐系统,实时处理数据,来解决传统推荐系统实时性低的问题。论文具体的研究工作情况如下:(1)论文为了解决推荐系统的冷启动问题,采用双论域邻域粗糙模型进行偏好挖掘,提高推荐准确性。在双论域邻域粗糙集模型中,推荐系统的数据集是由用户和商品两个数据域所构成的,而通过用户对商品的评分这种映射关系来提高冷启动问题的准确性。(2)论文在面对评分映射具有不同含义的情况,运用矩阵分解模型构建基础评分线,通过基础评分线来表达实际情况中喜欢和不喜欢两种情绪。同时将评分映射关系进一步区分为积极映射和消极映射,并在偏好规则提取过程中过滤掉消极映射,进一步提高推荐系统冷启动的准确性。(3)论文在面对推荐系统的实时性问题上,设计基于Flink框架的实时推荐系统。为了实时计算基础评分线,在分布式流式架构中提出分布式的自适应权重随机梯度下降算法。该算法在分布式环境中收敛性和收敛速度都有很好的表现。(4)论文从软件工程角度,分别通过系统需求,系统设计和模块设计等方面对基于流平台邻域粗糙计算评分推荐系统进行详细阐述,并对系统进行包含功能测试、性能测试在内的系统测试,以保障系统的可靠性及稳定性
其他文献
目的:比较负压吸宫术(Dilatation and curettage,D&C)(或联合其他治疗)和手术切除病灶治疗剖宫产瘢痕妊娠(Cesarean scar pregnancy,CSP)的有效性及安全性。方法:检索中国知
背景及目的卡波西肉瘤是HIV感染者中最常见的恶性肿瘤之一,而癌症患者的自杀风险高于普通人群。我们的研究旨在探索美国监测、流行病学和最终结果(Surveillance,Epidemiology
随着工艺技术不断发展,工艺尺寸仍会继续不断缩小。在深亚微米的设计中,互连线的延迟和功耗成为设计时需要考虑的重点。三维集成电路设计因此应运而生,它是解决片上互连问题
多输入多输出(Multiple-Input-Multiple-Output,MIMO)技术以频谱利用率高的特点成为近年来无线通信领域的研究热点。为了满足更高通信带宽的需求,增大天线数量在所难免,然而天线数量的增加对MIMO系统信号检测算法的性能和复杂度提出了更高的要求。低密度奇偶校验码(Low Density Parity Check Codes,LDPC)作为一种优越的抗随机错误的能力信道编码,
互联网已经成为当今社会通信的重要基础设施,深刻地影响着人们的工作、生活和学习,不断地推进国家经济发展和社会进步。但是随着网络流量的爆炸式增长,越来越多的用户不再关
对于射频集成电路芯片而言,保证其高性能的一项关键就是本振(LO)信号的纯净。现在,越来越多射频系统模块通过SoC设计被集成到了一块芯片上,这也就给LO信号的设计提出了很大的
基于IP的集成电路设计已经成为主流,在IP交付时,不仅需要确保IP的功能满足要求,IP接口的时序参数也要保证。硬核IP需要在芯片上进行功能验证和端口时序参数测量,要求在片上设
随着CMOS工艺水平的不断提高,科研机构也加大对微纳米加工科研平台的投入。CMOS器件作为半导体电路核心的基础单元,广泛应用于各类光电、生物、MEMS等器件和系统中。在国内外
目的:对我院2016-2018年病原微生物实验室分离的肠杆菌属的临床科室分布、标本类型及药敏变化进行分析,为临床医生选择抗菌素以及送检标本类型提供参考;对我院2016-2018年肠
随着无线通信的发展,使得网络数据、智能终端出现爆炸式增长,不同的异构网络共存在一个网络中,然而由于传统网络技术的僵化,导致网络资源不能按需分配。而无线网络虚拟化技术