大数据可视化模型的协同过滤算法研究及应用

来源 :湖南大学 | 被引量 : 0次 | 上传用户:xiawayu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、生物信息、传感器等产生的数据急剧增长,数据爆炸、大数据、分布式处理成为了当今比较流行的研究热点,与此同时,分析大数据,特别是在海量数据中挖掘有价值的信息,用较好的工具展现出来,是大数据可视化研究领域的研究趋势。然而这种大数据处理框架和可视化技术相结合的产品很少,在这种数据就是自然资源的信息时代,这种需求更是迫在眉睫。本文设计了一个大数据可视化模型的算法处理与应用架构,包括如下几个部分,大数据可视化算法设计模型、大数据实际应用生产系统。1)大数据可视化算法研发模型在本文主要从易用并行化算法设计方面体现,数据分析师,或者数据科学家能用这个模型设计自己的并行算法,而且还能进行大数据分析,并将数据进行可视化,因此本文提出的大数据可视化算法分析平台模型,很好地解决了传统只能用R进行数据抽样分析到用R进行数据全量分析的问题。为了验证这个模型,本文对协同过滤算法进行了改进,本文用DAG的思想并行实现了协同过滤算法,通过实验结果分析表明,这种模型有很好的扩展性与易操作性,同时算法本身也有很好的扩展性。2)大数据实际应用生产系统在本文主要体现在大数据算法集成之后的实时推荐系统应用,该应用主要用到了大数据处理和存储架构,比如说式文件系统HDFS和MapReduce、Spark等计算模型,还有实时流Storm框架等,在这个大数据实际应用生产系统框架中能跑多种策略,支持多个算法工程师在一个框架内实验多个大数据实际应用生产系统算法。其中包含很多大数据集成算法,比如Mahout框架中聚类、分类、推荐算法,Spark中包括Map Reduce、Streaming、Machine Learning与Graph Processing等通用的算法库,数据分析人员可以直接调用这些算法进行业务分析。运用这个大数据可视化模型的算法处理与应用架构,数据科学家就可以直接使用真实全量数据在前线进行各种研究和算法的设计,为行业加快实时决策速度,挖掘那些长尾数据中有价值的信息,从而为社会创造更大的使用价值。第三章就用这个大数据可视化模型设计了一个改进后的并行协同过滤算法,并通过各种算法和实验比较,展现着较好的扩展性与数据处理能力,之后以这为基础,设计并实现了大数据架构下的推荐算法集成应用。
其他文献
<正>1.引言全球变暖的背景下,全球平均海平面在1901-2010年期间上升了0.19m。在典型浓度路径情景预估中,冰川融化的贡献占21世纪全球平均海平面上升的15~35%。冰川地形是计算
会议
随着我国医疗卫生改革的不断深入,医疗服务市场的竞争日益加剧,医院应该如何有效地把握服务对象和进一步开拓医疗服务市场。要想在竞争中快速发展,必须通过创品牌医院,更新经
湿地植物净水功能20世纪中叶被发现以来,大量研究成果已被广泛用于各种水体的生态修复,在实践中得到检验。在城市湿地公园建设中,植物景观的首要功能也是以净化水质为主的生
目的探讨结构化教育在自闭症儿童康复训练中的应用效果。方法取2015年3月~2017年6月医院收治的自闭症儿童120例,随机分为对照组(n=60)和观察组(n=60)。对照组采用常规方法康复
本文以制备高发光效率、高色纯度和高稳定性的有机蓝光材料为目标,设计了一系列以三聚磷腈为核,蒽为发光基团的三臂和六臂树枝状分子,这类化合物通常具有溶解性好,易成膜,不易结晶,耐候性好等优良性质。合成了4个目标化合物,并通过核磁、质谱等技术手段验证了化合物的分子结构,通过紫外-可见吸收光谱、荧光发射光谱表征了化合物的光学行为。以硫酸奎宁为参比,T_1、T_2、T_3、T_4荧光量子产率(Φ)(λex=
分子量及其分布是表征聚合物特征的重要参数,体积排阻色谱(Size-exclusion chromatography)广泛用于测量聚合物分子量和分子量分布。然而,由于带加宽效应的存在,导致实际得到
目的:检测冠心病稳定性心绞痛患者外周血单个核细胞(PBMC)中沉默信息调节因子2相关酶1(SIRT1)蛋白表达和血清丙二醛(MDA)、超氧化物歧化酶(SOD)水平,探讨SIRT-1和氧化应激的
本文研究了有限总体模型中参数受到不等式r’β≥0约束时的容许性问题,在矩阵损失下得到了线性预测是可容许的充要条件,所给条件易于验证,便于应用.
考虑了一类奇摄动二阶线性边值问题,在一阶导数的系数具有一个零点,即转向点的情形 下,分析了在转向点处可能出现角层现象的条件,然后利用中间变量匹配法构造出在整个区间上
本文通过对基督教教堂的演变发展分析,探讨神圣空间的变革。 This article explores the transformation of sacred space by analyzing the evolution of Christian church
期刊