【摘 要】
：
在使用Hadoop进行大规模数据分析时,经常会遇到的一个较为典型的问题就是共享数据的快速访问问题。该类问题存在的场景很多,如网页排名算法、最小错误率训练算法、最大期望算
【机 构】
：
江南大学物联网工程学院,中国空气动力研究与发展中心计算空气动力研究所
【基金项目】
：
工信部高技术船舶项目(2016[26])
论文部分内容阅读
在使用Hadoop进行大规模数据分析时,经常会遇到的一个较为典型的问题就是共享数据的快速访问问题。该类问题存在的场景很多,如网页排名算法、最小错误率训练算法、最大期望算法等。虽然已有关于此类问题的解决方案,但实际取得的效果却不尽如人意。为此,提出了使用Redis内存数据库作为分布式缓存,以解决Hadoop中共享数据访问的问题。验证实验结果表明,Redis分布式缓存的吞吐率与集群规模有较好的线性关系,所提出的方法能够较好地解决Hadoop任务对共享数据的访问问题,同时也为其他大规模共享数据访问的问题提供了简便的解决思路。Redis作为开源的商业化工具,使得所提出的方法具有较好的适用性,可为科研以及生产实践中遇到的同类问题提供一种较为通用的解决方案。
其他文献
针对变电站小电流接地系统PT因受干扰而出现谐振现象,进而导致PT烧坏的事故,以消除PT谐振的措施为出发点,分析了4PT消除谐振的原理,并介绍了能消除常规4PT接线方式存在问题的
采用Q235结构钢在进行单轴及多轴两级变应变幅和变路径疲劳试验研究,在此基础上探讨金属在变幅和变路径循环中疲劳损伤累积的过程和描述方法,并对MINER线性和MANSON非线性疲
<正> 展望10年世界航空工业及科技的发展前景,给人突出的感觉是挑战与机会并存。如何把握机会、迎接挑战?需要我们作深入的思考和研究。本文拟从三个方面来探讨和展望90年代
农作物优化配方施肥技术是镇沅县近几年来大力推广应用的一项节本增效技术。该文对农作物优化配方施肥技术的原理进行阐述,分析该技术的效益,结合全县推广应用情况,指出技术
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
由于我国公安执法工作所涉及的范围越来越广,在执法工作量逐渐增多的同时,对执法人员的工作效率、应变能力及执法力度等提出了更高层次的要求。本文以东莞市公安局的移动警务
假货侵权一直是困扰我国电子商务发展的痼疾。淘宝、百度、拍拍等都曾因假货侵权问题被美国贸易代表办公室列入恶名市场名单。为了打击假货问题，不论是政府、平台或第三方机构
<正> 一、反思自从18世纪工业革命以后,城市逐渐成为人类社会中愈来愈重要的角色,特别是本世纪以来,城市化以其汹涌之势,从资本主义国家迅速蔓延开来,成为世界性的潮流。中国
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
文章通过考察JK-1型家用净水器(水)对耐缺氧、抗疲劳、免疫增强、延缓衰老、抗氧化、护肝等方面的功效及急性毒性评价,证明JK-1型家用净水器(水)长期饮用有一定的耐缺氧、抗