【摘 要】
：
针对Spark系统参数量巨大且手动调整参数具有耗时、效率低下等问题,提出一种基于人工神经网络(Artificial Neural Network,ANN)的方法来对Spark系统的配置参数进行自动调整,
【机 构】
：
中国民用航空飞行学院空中交通管理学院
【基金项目】
：
国家自然科学基金重点项目(U1733203),民航局安全能力建设项目(TM2018-9-1/3),民航华东空管局科技计划基金资助项目(KJ1802),中国民用航空飞行学院面上基金资助项目(J2019-042)
论文部分内容阅读
针对Spark系统参数量巨大且手动调整参数具有耗时、效率低下等问题,提出一种基于人工神经网络(Artificial Neural Network,ANN)的方法来对Spark系统的配置参数进行自动调整,保障在处理空管大数据时的速度和性能。使用Dell PowerEdge T430服务器测试了空管大数据中5种常用的不同大小的数据集,以验证该方法。研究表明,与默认参数配置相比,该方法可将Spark系统的性能平均提高约35%。随着数据集大小的增加,性能呈现进一步提高的趋势。该方法可以有效地保障Spark系统的参
其他文献
一、转换政府职能的时机十四大确立建立社会主义市场经济体制已经６年多了。政治体制改革，尤其是转换政府职能以适应市场经济发展需要的任务还远没有完成。从改革时间和力度来看
外商投资企业劳动关系初探刘起超在外商投资企业（简称外资企业）经济迅猛发展的今天，探索和建立健全一种协调稳定的内部机制，尤其是建立和谐的劳动关系就显得十分重要。笔者认为，外
本系统意在通过物联网技术、图像处理技术,由传感器监测作物的生长环境数据,如光照强度、空气温湿度、大气压强、土壤湿度、土壤盐分含量等;将作物生长数据,产地信息通过网络
转指在语言中十分常见,现代汉语中有许多谓词性成分可转指,词性、词义均发生变化;“的”字解构是较为常见的转指类型。转指可以根据语义、词类及对称与不对称等进行划分。对
<正>藏政办发[2010]58号(二○一○年五月二十五日)各行署、拉萨市人民政府,自治区各委、办、厅、局:为切实做好我区农村最低生活保障制度与扶贫开发政策有效衔接工作,根据《
<正>我们要全面正确履行政府职能,更加重视公共服务和社会管理。加快健全覆盖全民的公共服务体系,全面增强基本公共服务能力。健全重大自然灾害、突发公共安全事件应急处理机
SRS系统为无人天车提供工作坐标，以实现钢卷的自动入库／出库作业。由于车辆尺寸的不统一，导致SRS经常出现坐标生成失败的情况。为了解决该问题，通过WMS系统、A模块系统以及PLC系
经过世纪末10多年的迅速发展，走向21世纪的世界形势与国际格局，出现了许多历史上从未有过的重大而深刻的变化。科学技术突飞猛进，知识经济迅速成长，国际政治波谲云诡，全球文化交融
<正>藏政办发[2010]63号(二○一○年六月八日)各行署、拉萨市人民政府,自治区各委、办、厅、局:为了加强对自治区'十二五'规划编制工作的组织领导,充分调动全区各方
本文介绍了基于低压电气控制的太阳能板转向装置的基本构成,系统软硬件和核心电路设计原理。在此基础上设计了一种结构简单,最大程度调配电力的消耗与存储的光能利用系统。现