Spark DAG优化MapReduce协同过滤算法

来源 :中山大学学报(自然科学版) | 被引量 : 0次 | 上传用户:lwy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,高效率低成本的大数据处理技术成为学术界及工业界的研究热点。为提高协同过滤算法的执行效率,对MapReduce架构下的算法执行步骤进行了分解,并对算法执行缺陷进行了分析。结合Spark适于迭代型及交互型任务的特点,提出将算法从MapReduce平台移植Spark平台的改进思路。设计了算法在Spark中的实现流程,并通过参数调整、内存优化等方法进一步提高算法效率。实验结果表明:与MapReduce平台中的算法相比,基于Spark DAG调度的算法能
其他文献
<正> 为进一步美化市容,完善南宁市政设施,方便民众的生活交往,根据《地名标牌城乡》、《关于在全国城市设置标准地名标志的通知》,南宁市人民政府把设置新标准地名标志作为2
排房问题是宾馆中的一个非常重要的问题,同时也是比较难的课题。因为它是一个多目标的优化问题,并要求有较高的速度,现在宾馆中使用的都是特定的管理软件。本文在此基础上,通过模
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
“目标设计平台”是赛灵思(Xilinx)公司帮助开发人员在FPGA设计时专注于产品创新与差异化的创新理念。目前,在目标设计平台的基础上,赛灵思有了最新一步的发展,推出了六大领域优化
东天山八大石黑云母二长花岗岩中广泛发育闪长质包体。闪长质包体与寄主花岗岩在矿物组合上不同,但两者中同类矿物的种属相似。与寄主花岗岩相比,闪长质包体的Fe、Mg、Ti、Ca
恰当的标题可使文章有效指向目标读者并有助于人们对文章进行选择。尽管对文章标题研究不少,但同时从历时和共时角度对其作全面研究的并不多。本文着重从结构和历时两个角度分
日前,美国国家仪器有限公司(National Instruments,NI)2009年度“NIDays全球图形化系统设计盛会”中国站在上海落幕。尽管行业尚未走出经济危机的寒潮,但今年的NIDays中国站并未缩
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
英国音频技术公司Sontia由资深音乐人Chris Vernon在2004年创立,该公司致力于新一代数字音频处理技术,其目标市场包括iPod底座系统、平板电视、笔记本电脑、有源音箱、MP3播
无论去酒店吃饭还是KTV唱歌的时候,我们通常会碰到这种情况:在收银处都会贴有"禁止自带酒水"的告示,如果顾客自带酒水到商家消费的话则商家要收取开瓶费,这一现象似乎成为一