【摘 要】
：
Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动
【基金项目】
：
国家自然科学基金项目(61602031),中央高校基本科研业务费专项资金资助项目(FRF-BD-19-012A),北京科技大学重大教学改革项目(JG2019ZD02)。
论文部分内容阅读
Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动优化具有重要意义。该文分析了Spark作业中影响系统行为的关键参数,建立了性能模型,并进一步探索了Spark参数自动优化的方法和策略。通过提取作业执行过程中对性能有影响的参数,对主流的19种回归模型进行了对比测试,获得通用性和拟合效果都比较好的6种回归模型,并针对不同类型的Spark任务在特定集群上建立性能模型,最后依据建立的性
其他文献
煤巷掘进工作面综合防突是煤矿防突工作的重点,涉及多种参数测试和流程,但是由于煤矿属于特殊行业,无法现场教学,也无法进行实验室模拟测试,仅展示图片和设备,较为抽象,学生
以铝合金作为实验材料,开展了不同冷却速度对电磁铸造组织的作用规律研究。结果表明:冷却速度会直接影响铸锭凝固组织的改善效果,在行波磁场水冷0.47 K/s条件下,晶粒尺寸主要
文章介绍了一种小型波流循环水槽的池体设计方案及其控制系统和控制软件;整合波流循环水槽测试设备及测试技术资源,依托波流循环水槽搭建了创新实验教学平台;依据测量变量的
在高校化工院系中,"涂料"是一门重要的课程,需要不断引入相关的教学实践内容。引入精细化的生产线,是"涂料"课程教学和实践的重要保障,能够引导学生深入剖析和理解"涂料"知识
文章分析了现行"数字逻辑实验"课程教学存在的问题,提出了一种时空自由、选题自由、方案自由、手段自由的多自由度创新实践教学模式,并应用于"数字逻辑实验"课程教学中。实践
目的探讨儿童重度肾积水肾造瘘术后肾盂尿液中分子量大小不等的尿微量白蛋白(mAlb)、α1微球蛋白(α1-MG)、β2微球蛋白(β2-MG)、转铁蛋白(Trf)、免疫球蛋白G(IgG)的改变及
2020年是特殊的一年,新冠疫情、中美之间的贸易摩擦等因素影响了高校毕业生的就业。化工类专业毕业生年终就业率为88.60%,较之以往有所降低。对2020届毕业生就业情况进行分析
蔗糖水解反应是经典的物理化学实验之一,常以旋光法测定其反应速率常数和活化能。该文针对实验教学过程中发现的原装旋光管恒温效果不佳等问题,研制了T型旋光管。该管一体成
针对智能物料输送过程宏观难以观察、成本昂贵难以复现等问题,利用机电一体化技术开发了一套模拟工厂物料输送的智能物料搬运机器人教学实验平台。该平台主要由控制模块、运
为了完成"无机化学实验"课程立德树人的教学目标,基于课程思政的理念,从课程思政元素的挖掘、培养目标的确定、教学设计的融入及教学方法的改革和创新等方面入手,对该课程怎