论文部分内容阅读
CPS技术正对物理世界和信息世界的交互方式产生着潜移默化的影响。信息物理融合系统集嵌入式计算、传感、网络通信控制于一体,为智能化社会的建设提供巨大支持,随着信息物理融合系统蓬勃发展,网络数据资源进入爆炸增长时代,要实现实时存储、处理分析,满足人们的迫切需求,就需要将基于大数据的信息物理融合系统作为发展重点。为了满足不同巨量数据用户的目的与需求,各种异构数据融合和处理推荐算法陆续被提出来与运用,其中最为著名的是协同过滤推荐算法。根据过去的研究,虽然协同过滤推荐算法很成功地应用在推荐系统领域中,但仍然存在着诸多困扰,如扩展性、冷启动及数据稀疏性等,数据处理质量都会受到上述困扰影响而降低。因此,本研究使用正常恢复相似性度量以修正协同过滤推荐算法的误差值,并在云端Hadoop环境中,比较测量在3、6以及9个节点情况下与单机执行的时间,分析改进协同过滤算法的加速比及效能,主要的内容和贡献如下:1.以基于用户的协同过滤算法为基础,采用BP神经网络算法对协同过滤算法的正常恢复相似性度量方法进行改进,以完善协同过滤推荐算法计算误差,提高CPS数据处理的时间加速比。2.搭建实验环境,在Hadoop平台上使用MapReduce对实验数据分配不同的主机进行运算比较分析。比较了杰卡德、皮尔森和改进算法的结果准确度。验证了算法的推荐结果和时间加速比及其数字处理效能,改进算法适合应用于处理数据较复杂的分布式系统中,并较传统算法在处理速度方面占优。3.实验结果发现,随着邻居个数k逐步提高,数据运算更趋复杂,执行的时间成正比增长。对比了单机模式与应用改进算法后的分布式系统处理效能,在节点数6与9时运行时间消耗得到大幅改善,改进协同过滤算法的效能显著提高。在6个节点时,改进的算法处理速度提高1倍,9个节点时,提高到了4倍,最高加速比出现在邻居个数k等于6时,为4.18倍。