【摘 要】
:
大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,高效率低成本的大数据处理技术成为学术界及工业界的研究热点。为提高协同过滤算法的执行效率,对MapReduce
【机 构】
:
新疆财经大学统计与信息学院,新疆大学信息科学与工程学院,新疆医科大学医学工程技术学院,清华大学软件学院
【基金项目】
:
国家自然科学基金(61562078,61262088);新疆维吾尔自治区自然科学基金(2016D01B014);新疆财经大学博士启动基金(2015BS007)
论文部分内容阅读
大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,高效率低成本的大数据处理技术成为学术界及工业界的研究热点。为提高协同过滤算法的执行效率,对MapReduce架构下的算法执行步骤进行了分解,并对算法执行缺陷进行了分析。结合Spark适于迭代型及交互型任务的特点,提出将算法从MapReduce平台移植Spark平台的改进思路。设计了算法在Spark中的实现流程,并通过参数调整、内存优化等方法进一步提高算法效率。实验结果表明:与MapReduce平台中的算法相比,基于Spark DAG调度的算法能
其他文献
<正> 为进一步美化市容,完善南宁市政设施,方便民众的生活交往,根据《地名标牌城乡》、《关于在全国城市设置标准地名标志的通知》,南宁市人民政府把设置新标准地名标志作为2
排房问题是宾馆中的一个非常重要的问题,同时也是比较难的课题。因为它是一个多目标的优化问题,并要求有较高的速度,现在宾馆中使用的都是特定的管理软件。本文在此基础上,通过模
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食
Back to yield
“目标设计平台”是赛灵思(Xilinx)公司帮助开发人员在FPGA设计时专注于产品创新与差异化的创新理念。目前,在目标设计平台的基础上,赛灵思有了最新一步的发展,推出了六大领域优化
东天山八大石黑云母二长花岗岩中广泛发育闪长质包体。闪长质包体与寄主花岗岩在矿物组合上不同,但两者中同类矿物的种属相似。与寄主花岗岩相比,闪长质包体的Fe、Mg、Ti、Ca
恰当的标题可使文章有效指向目标读者并有助于人们对文章进行选择。尽管对文章标题研究不少,但同时从历时和共时角度对其作全面研究的并不多。本文着重从结构和历时两个角度分
日前,美国国家仪器有限公司(National Instruments,NI)2009年度“NIDays全球图形化系统设计盛会”中国站在上海落幕。尽管行业尚未走出经济危机的寒潮,但今年的NIDays中国站并未缩
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食
Back to yield
英国音频技术公司Sontia由资深音乐人Chris Vernon在2004年创立,该公司致力于新一代数字音频处理技术,其目标市场包括iPod底座系统、平板电视、笔记本电脑、有源音箱、MP3播
无论去酒店吃饭还是KTV唱歌的时候,我们通常会碰到这种情况:在收银处都会贴有"禁止自带酒水"的告示,如果顾客自带酒水到商家消费的话则商家要收取开瓶费,这一现象似乎成为一