【摘 要】
：
为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,
【基金项目】
：
国家自然科学基金资助项目(61300228);江苏省自然科学基金资助项目(BK20140570);浙江省自然科学基金资助项目(LY13F020012);江苏省科技厅重点研发计划产业前瞻与共性关键技术项目(BE2015137);江苏省科技支撑计划项目(BE2013103);深圳市科技项目(JCYJ20130401095947222)
论文部分内容阅读
为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6~5.6倍,减少Tachyon数据处理的时间开销达2%~27%,减少了Spark 90%~95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%~15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.
其他文献
采用X一射线能谱仪(EnAx)、扫描电镜(SEM),电子探针(EPMA)以及微粒分析仪(MPA)实验手段和热力学分析方法,研究了轻稀土合金对焊缝金属内夹杂物的冶金作用。结果表明,轻稀土合
手势语是通过手部动作展现体态上的语言,是动作语言的关键组成部分。手势语具有非常多的优点,具有较强的形象感,表达的意义鲜明,具体形象,手势语得体使用,更加具有说服力与吸
中职英语教学应该以培养学生的就业能力为目标，然而，目前我国中职英语教学观念落后，方法陈旧，完全不能适应现实的需要。本文从中职英语教学现状入手，从教学方法，教学理念和教学特色
随着环境污染和能源危机的加剧,电动汽车以其节能环保的优势,成为了未来汽车发展的一个重要方向,得到了各国政府和企业的重点关注。动力电池作为电动汽车的主要动力源,是电动
为了有效地获取双语文档的主题分布,提出了一种基于短语的柬汉双语LDA主题模型。修改了传统LDA主题模型中的词袋模型,融入短语(N-gram)的概念,能够在主题预测过程中考虑文章
依据陕西省1985—2007年污染物排放指标和人均实际GDP指标验证环境库兹涅茨(EKC)曲线,结论为:环境EKC基本存在。环境与经济发展权衡导致环境规制,环境污染与环境规制又呈现产
无线传感器网络（WSN）通常部署在复杂的环境中,攻击者很容易通过俘获节点注入虚假数据,造成严重后果.提出基于对事件源能量感知值相近的特征节点的恶意节点检测机制（DAFNA）,首先对