Spark SQL优化器系统Catalyst的深入解析和应用

来源 :决策咨询 | 被引量 : 0次 | 上传用户:liuwenting02
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spark SQL是Spark生态系统中的一个新的模块,它将关系处理与函数编程API集成在Spark中。Spark SQL为程序员提供了利用关系处理长处,如声明性查询和优化存储,并允许SQL用户在Spark中调用复杂的分析库,例如,机器学习。为了使Spark SQL易于添加组合规则,控制代码生成,和制定扩展点,Spark生态系统引入了一个基于Scala编程语言功能开源的高度可扩展的优化器Catalyst。值得一提的是,Catalyst还允许构建各种功能,包括J ON的模式推断、机器学习类型选择,以及在数据
其他文献
<正> 农业生产的任务之一,就是为人类的社会活动、生存、繁衍提供足够的优质食物。但随着世界人口持续不断的增长和土地资源的逐年减少,食物供应将日趋紧张。因此,当前人类的
<正> 菜田基本建设是稳定城市蔬菜供应的一项重要基础工作,是当前城市“菜篮子工程”的主要内容。近几年来,无锡市郊区的菜田基本建设,在市、区各级领导的重视和关心下,取得
<正> 蔬菜工作的好坏,影响社会方方面面。三年以前,即1988年春节前后,从城市到中央,各级人代会都把它作为一个热门话题,报纸也发表很多文章讨论蔬菜工作。这几年社会上对蔬菜
“公司”,似乎人们都不陌生,特别是进入90年代,无论是各种宣传媒介,还是人们上班工作或饭后闲谈,“公司”恐怕是出现频率最高的字眼之一,但知其然,并知其所以然者,就不可谓其
2018年1月,北京市政府印发了《北京市支持建设世界一流新型研发机构实施办法(试行)》,明确新型研发机构的公益性定位,突出与国际接轨的体制机制创新,创新财政科技经费支持方
平顶山矿务局十矿是一座年产煤200万吨以上的大型矿井,现有8000多名职工。随着市场经济的不断发展,产业结构的变化及煤矿机械化程度的提高,企业人员多、效率低、职工子女就业
当前部分煤矿企业多种经营发展迟缓,效益欠佳,所上项目规模偏小是一个重要原因。笔者拟就这个问题谈几点认识。 一、只有实现规模经营,才能获得较多的利润 经济效益是企业一
微言语  或许家人最不懂,但懂不懂有什么重要的呢,最终消除隔阂的不是无所不知的脑袋,而是手拉手永远不放的那颗心。  微言语  你的时间有限,不要浪费于重复别人的生活,不要让别人的观点淹没了你内心的声音。  微言语  人对他人的需求越少,就会活得越自如越安详。没有人,哪怕他愿意,也不可能完全满足另一个人的需要,唯一的办法就是令自己的需要适可而止。  ——廖一梅  微言语  我活在世上,无非想要明白些
1977年母亲病危时,我坐在病床边,握着母亲的手,问母亲还有什么要嘱咐我的. 母亲望着我,眼角淌下泪来.母亲说:&#39;我真希望你哥跟我一块儿死,那他就不会拖累你了……&#39; 我
6月24日,苏格院长会见了来访的美国哈德逊研究所所长肯尼斯·韦恩斯坦及该所高级顾问白邦瑞,我院美国研究所所长滕建群等参加会见。双方就中国的外交政策、中美关系及两机构未来合作事宜等进行深入交流。