基于运行数据分析的Spark任务参数优化

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:lxy901123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
运行数据是大数据系统中增长最快、最为复杂也是最有价值的数据资源之一。基于运行数据,软件开发者可以分析关于软件质量和开发模型的重要信息。Spark作为一个分布式系统,在运行过程中会产生大量的运行数据,包括日志数据、监控数据以及任务图数据。开发者可以基于运行数据对系统进行参数调优。然而该系统所涉及的参数种类繁多、影响多样且难以评估,若对系统了解不足,进行参数调优存在较大的困难。提出运行数据历史库的概念,历史库中存储的是以往运行任务的特征信息以及运行配置信息。同时提出了基于历史库搜索的参数优化模型,并实验验证了
其他文献
在计算神经科学领域,大规模神经元网络的并行仿真对探索和揭示生物大脑中信息传递机制有着重要作用。为加速大规模神经元网络仿真,提出一种模块独立性强、耦合度低的基于突触
胃食管反流病病机与厥阴病阴阳之气不相顺接、寒热虚实错杂的特点相契合,厥阴肝经、心包经病变是贯穿本病的病理基础。辨证分型:肝胃不和、胃气上逆型,肝热脾寒、寒热错杂型,
提出了双链量子遗传算法(DCQGA)优化简单多核支持向量机(SMKL-SVM)的模拟电路故障诊断方法。首先,提取测试电路时域响应信号,用Harr小波对响应信号进行变换并归一化处理,得到特征
<正> 1989年前后的“绒毛大战”及西方国家经济制裁,使府谷县供销系统全行业亏损2000多万元!从此一蹶不振,元气大伤!直到如今,绝大多数基层供销社仍然资不抵债!县供销社直属的几个县级公司,也多数没有摆脱亏损困境! “没有平地不显高山”,“疾风知劲草,困境显英雄”,在绝大多数供销企业亏损的状况下,府谷县工业品公司在百花凋零中一花独秀,经济效益仍然逐年向上,人们不得不对刚过不惑之年的经理徐和气投以钦佩的眼光!赞誉他为“逆水行舟的企业家”!说这位经济师确实懂经济是府谷县企业家中的经营能手,确实
省政府各部门、各直属机构:《广东省人民政府2006年制订规章计划》(以下简称《计划》)业经省人民政府同意,现印发给你们,请认真组织实施。做好2006年政府立法工作,要按照全面
本文从理论上探讨金融与科技融合的作用机制和经济效应,比较分析国际上金融与科技融合的主要模式及其演变,运用案例研究法对美国、德国、日本、新加坡、以色列和韩国等国家金
(广东省交通厅2007年10月9日以粤交运[2007]960号发布自2007年10月9日起施行)现将交通部《关于对外商投资道路运输业立项有关问题的批复》(厅公路字[2007]164号,见附件1)转
人物鸟语空山法师赖三魈(赖甲、赖乙、赖丙) 大黑何队长 [深山老林小的一片模糊景象:山峦濛濛,树影婆娑,光怪陆离,时而传来几声鸟啼。 [以二胡名曲《空山鸟语》为主弦律
期刊
虽然目前我国证券市场状况限制了高频交易的发展,但未来的市场竞争必然要求监管部门改革证券市场交易制度,放开对高频交易的管制。因此,应积极借鉴欧美高频交易监管经验,引导
布尔多项式求解是当今密码代数分析中的关键步骤,F4算法是布尔多项式求解的高效算法。分析了Lachartre为F4矩阵专门设计的高斯消去算法,针对其中布尔矩阵乘这一耗时的计算步骤,