Spark协同过滤算法扩展性测试与分析

来源 :计算机工程与设计 | 被引量 : 0次 | 上传用户:hgscmey
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习算法的线性扩展性要求算法的计算性能随节点数增加保持接近线性增长。针对当前ALS算法扩展性测试的不足,提出一种多维度扩展性测试方法,通过横向测试进行扩展性测试,使用纵向测试确定扩展性瓶颈。结合真实数据集在Spark MLlib上进行测试,实验结果表明,该算法对节点敏感,会出现任务聚集到某个节点上的问题,同时随着任务并行度增加,算法执行时间增加,效率降低。
其他文献
为准确检测工业控制系统的入侵行为,使系统能够及时对入侵攻击做出响应,提出一种改进CUSUM算法的入侵检测方法。分析工业控制系统信息安全特点,将工业控制系统中传感器获取的
学法传授包括两个方面,一是学法,二是教法。学法传授,是指教师通过一定的途径对学习者进行学习方法的传授、引导、诊治,使学生掌握科学方法,并灵活运用于学习中。在中学英语教学中
中国共产党拥有“适合媒体社会的交流能力”,在虚拟的网络平台建立自己的组织是巩固和扩大在青年群众中执政基础的重要方法之一。政治性、先进性、虚实结合是虚拟党组织创建
“天时不如地利,地利不如人和”,可见“人和”对于事业成功的重要性。班主任作为学生成长的领路人与教化者.在专业化成长中修炼“内功”固然重要,但面对错综复杂的外部因素影响,也
为平衡种群的探索与开发,提出一种改进的竞争粒子群算法(CGCSO)。通过柯西高斯变异更新胜利者的位置,提高种群的开发能力;利用环形拓扑结构信息传递速度慢的特点,将其用于胜
本文对21例脑弥漫性轴索损伤(DAI)的CT表现进行分析,旨在探讨CT对该病的诊断价值与限度.
在我看来,教学过程中的导人就如一场电影的开头,能不能迅速抓住观众的眼球就在此一举了。好的导语设计不仅体现一个老师对教学对象、教学任务的把握,从某个程度上也反映了一位老
涉黑的“套路贷”团伙与一般的犯罪集团、恶势力团伙相比,在本质上符合黑社会性质组织的组织特征、经济特征、行为特征和非法控制特征。黑社会性质组织采取“套路贷”实施违
文化生态是一个全面的,整体的,动态的社会文化的研究方法,可用于对艺术与社会领域的探索,为艺术史中对图像分析法、情景分析、风格分析的应用打开了新的维度。山东地区对于民
本文以合肥20世纪50-60年代高校空间形态为研究对象,主要从校园规划以及建筑单体的层面出发,试图分析出合肥20世纪50-60年代高校建设发展在特定历史时期下的具体特征。20世纪