基于协同过滤的CPS数据处理算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:hackls
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
CPS技术正对物理世界和信息世界的交互方式产生着潜移默化的影响。信息物理融合系统集嵌入式计算、传感、网络通信控制于一体,为智能化社会的建设提供巨大支持,随着信息物理融合系统蓬勃发展,网络数据资源进入爆炸增长时代,要实现实时存储、处理分析,满足人们的迫切需求,就需要将基于大数据的信息物理融合系统作为发展重点。为了满足不同巨量数据用户的目的与需求,各种异构数据融合和处理推荐算法陆续被提出来与运用,其中最为著名的是协同过滤推荐算法。根据过去的研究,虽然协同过滤推荐算法很成功地应用在推荐系统领域中,但仍然存在着诸多困扰,如扩展性、冷启动及数据稀疏性等,数据处理质量都会受到上述困扰影响而降低。因此,本研究使用正常恢复相似性度量以修正协同过滤推荐算法的误差值,并在云端Hadoop环境中,比较测量在3、6以及9个节点情况下与单机执行的时间,分析改进协同过滤算法的加速比及效能,主要的内容和贡献如下:1.以基于用户的协同过滤算法为基础,采用BP神经网络算法对协同过滤算法的正常恢复相似性度量方法进行改进,以完善协同过滤推荐算法计算误差,提高CPS数据处理的时间加速比。2.搭建实验环境,在Hadoop平台上使用MapReduce对实验数据分配不同的主机进行运算比较分析。比较了杰卡德、皮尔森和改进算法的结果准确度。验证了算法的推荐结果和时间加速比及其数字处理效能,改进算法适合应用于处理数据较复杂的分布式系统中,并较传统算法在处理速度方面占优。3.实验结果发现,随着邻居个数k逐步提高,数据运算更趋复杂,执行的时间成正比增长。对比了单机模式与应用改进算法后的分布式系统处理效能,在节点数6与9时运行时间消耗得到大幅改善,改进协同过滤算法的效能显著提高。在6个节点时,改进的算法处理速度提高1倍,9个节点时,提高到了4倍,最高加速比出现在邻居个数k等于6时,为4.18倍。
其他文献
现有拥挤频段已无法满足不断增长的高速数据速率业务需求。为了克服频谱拥塞和满足未来业务需求,提出了使用毫米波段的方法。因为现有电子模块和器件频率响应的限制使100GHz
机器人技术近年来得到了广泛的关注和迅速的发展,被应用于工业制造、医疗服务、国防军事等各个方面。随着应用领域的不断拓展,单体机器人在一些场景中无法很好地满足用户的需
通用视频编码(Versatile Video Coding,VVC)作为新一代视频编码标准研究的项目,它与上一代压缩编码标准相比,压缩性能提高了约30%。然而,通用视频编码的高压缩效率是以巨大的
学位
金属激光熔化沉积是采用激光束作为聚焦热能将材料同步熔化沉积的新型加工工艺。但加工过程中存在复杂的多物理场耦合作用,使得沉积质量难以保证。而金属激光熔化沉积质量与
为全面贯彻落实《中国足球改革发展总体方案》,促进中国足球持续健康发展,2017年中国足协制定《中国足球协会2020行动计划》,文件中详细介绍关于足球裁判员培养方案,其中培养
“龙惕”这一概念,源于《周易》乾卦以龙德喻指君子乾乾知惕。季本在此基础上又予以心学阐释,即以龙言心,从而凸显心有主宰且能动的特性。作为阳明后学的季本,担忧心学过于重
电磁场赋形随着微波热疗技术、近场识别技术、物流管理技术等应用的发展正在受到越来越多的关注。随着功率传输最大化方法的提出和完善,我们已经可以对固定发射天线阵列、接
问答系统通常由问题分析模块、检索模块、答案抽取和答案选择四个部分组成。答案选择是一个典型问答系统的关键组成部分,答案选择问题可以表述如下:给出问题q和候选答案?a1,a
随着图像数据维数的不断增长,如何从受污染的观测图像中鲁棒地复原未知图像成为了富有挑战性的问题。科学家们发现了高维数据所固有的低维结构并对此提出了不同的假设,其中低