【摘 要】
：
Spark计算框架被越来越多的企业用作大数据分析的框架，由于通常部署在分布式和云环境中因此增加了该系统的复杂性，对Spark框架的性能进行监控并查找导致性能下降的作业向来是非
【机 构】
：
同济大学计算机科学与技术系,嵌入式系统与服务计算教育部重点实验室（同济大学）
论文部分内容阅读
Spark计算框架被越来越多的企业用作大数据分析的框架，由于通常部署在分布式和云环境中因此增加了该系统的复杂性，对Spark框架的性能进行监控并查找导致性能下降的作业向来是非常困难的问题。针对此问题，提出并编写了一种针对分布式容器环境中Spark性能的实时监控与分析方法。首先，通过在Spark中植入代码和监控Docker容器中的API文件获取并整合了作业运行时资源消耗信息；然后，基于Spark作业历史信息，训练了高斯混合模型（GMM）；最后，使用训练后的模型对Spark作业的运行时资源消耗信息进行分类并找
其他文献
导航信号发射时刻准确性是影响卫星导航系统定位授时性能的关键指标。转发式卫星导航试验验证平台是我国具有自主知识产权的一种新卫星导航体制,基于卫星转发地面产生导航信
2008年1月8日,新华社播发了国内部记者吴晶晶采写的人物通讯《极命草木——记2007年度国家最高科技奖获得者、著名植物学家吴征镒院士》(见2008年1月9日人民日报、新华每日电
随着“一带一路”构想的提出,为了更好地加强民心相通和文化交流,依托丝路沿线国家和地区的丰富的文化资源,推进丝路文化的传播。作为丝绸之路的重要节点和必经之道的宁夏,全
近几年,中国的经济发展势头十分迅猛,随着改革开放和加入WTO的大形势下,我国的企业发展竞争也日趋激烈,根据现在时代的发展的要求,知识和人才已经成为世界发展的最重要因素,
交通信号灯智能无线监控系统是由监控终端站、GPRS无线通讯网络和监控中心主站组成的。监控终端站先将实时数据通过PLC自身配装的无线通讯模块（GPRSDTU）发送到GPRS网络，再由GPRS
二十一世纪的社会是一个服务的社会，服务业在西方各国国民经济中的比重大多数超过了一半，并且有不断提高的趋势。对于制造业来说，要提高其竞争能力，仅仅依靠传统对有形产品的管理
目的:原发性颅内淋巴瘤的MRI诊断及鉴别诊断效果评价。方法:选取2017年1月—2017年12月,12个月期间我院住院收治的患有原发性颅内淋巴瘤的患者50例,给予所有患者常规的临床药
构建了城市综合经济实力、城市基础设施建设、社会公共设施建设和城市资源环境建设共4个维度的综合评价指标体系,利用模糊聚类分析方法对我国15个副省级城市的城市综合竞争力
澳门既具有背靠强大祖国的政治经济优势，又具有与欧盟、葡语系国家、地区长期经贸往来，引进技术不受限制的有利条件及便于开展国际交流与合作的国际城市的优势，建议把握可以大有
以减速机产品为例,阐述了其选型平台开发的系统构成及功能,分析了利用Access创建数据库、VB.Net进行应用程序界面设计并通过编程实现前台应用程序和后台数据库的连接及运用So