基于收益模型的Spark SQL数据重用机制

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:cfsjy4
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过数据分析发现海量数据中的潜在价值,能够带来巨大的收益.Spark具有良好的系统扩展性与处理性能,因而被广泛运用于大数据分析.Spark SQL是Spark最常用的编程接口.在数据分析应用中存在着大量的重复计算,这些重复计算不仅浪费系统资源,而且导致查询运行效率低.但是Spark SQL无法感知查询语句之间的重复计算.为此,提出了基于收益模型的、细粒度的自动数据重用机制Criss以减少重复计算.针对混合介质,提出了感知异构I O性能的收益模型用于自动识别重用收益最大的算子计算结果,并采用Partitio
其他文献
中药主要是植物药、动物药和矿物药组成,根据其性、味特点用于各种疾病治疗。随着科技的不断发展,人们对中药的认识也不断深入,中药在疾病的治疗与康复运用也不断增多。中药
总结了近年来我国植物检疫工作取得的成效;从植物疫情国外传入、国内扩散及危害加重等方面分析了植物疫情防控的严峻形势;为有效遏制植物疫情扩散危害,确保农业生产安全,提出
热解木质素是生物油中由酚类等高值化学品组成的低聚物,热解木质素能量密度高、具有酚羟基、甲氧基等活性基团,可用于制备液体燃料、化工产品等,实现其高效分离和分级转化是
给出了公交车的4种实时调度策略,包括滞站调度、跳站调度、短掉头和发车调度.4种调度策略各有优缺点,但是在特殊环境之下,如何考虑选择不同的调度策略是管理者面临的重要问题
研究固溶处理和人工时效对Mg-Al-Mn-RE合金显微组织和硬度的影响规律,结果表明:铸态Mg-6Al-0.3Mn-1.6RE合金主要由α-Mg相、γ相(Mg17Al12)和稀土相(Al11RE3)组成.固溶处理36
利用2000年2月—2008年12月的AERONET(AErosol RObotic NETwork)地基观测数据对MODIS/TERRA Collection 005气溶胶光学厚度(aerosol optical thickness;AOT)在华东区域的适用性进
在大口径直缝埋弧焊管UOE成形工艺流程中,U形弯曲件横断面上直壁段的倾角和底部的曲率半径是控制成形质量的两个关键指标。文章采用平面弹塑性模型,借助于有限元数值分析方法
<正>生殖医学的目标是维护与促进生殖健康,中国当前生殖健康面临的主要挑战有: (1)计划生育; (2)人工流产: (3)不孕不育; (4)孕产妇及新生儿健康; (5)出生质量与出生缺陷; (6
会议
新媒体时代,报纸需要何种专题摄影?传统的图片版面有哪些弊病?如何使专题摄影在重大主题报道中发挥重要作用?本文详述了《楚天都市报》相关方面的摄影实践。 In the era of