【摘 要】
：
SDC(Streamsets Data Collector)是一款可拖拽式的大数据ETL工具,可以不用写代码就能实现大量数据的处理,但要实现任务定时管理和多数据源等复杂功能则需要利用其公司的非开
【机 构】
：
杭州师范大学阿里巴巴商学院,上海师范大学教育学院
论文部分内容阅读
SDC(Streamsets Data Collector)是一款可拖拽式的大数据ETL工具,可以不用写代码就能实现大量数据的处理,但要实现任务定时管理和多数据源等复杂功能则需要利用其公司的非开源产品。文章介绍利用SDC内部接口,设计开发定时组件以及结合其自带组件,实现管道(PipeLine)的定时任务调度和多数据源应用。实验结果表明,拓展的框架组件可以实现伪实时及复杂的定时任务,并结合内部组件完成本机及远程多数据源整合应用,能解决用户对具体定时场景的应用问题。
其他文献
涟钢7高炉由于年限已久,炉缸被侵蚀,炉体有穿孔的隐患,在大修前的护炉工作中,炉缸分层温度的数据具有非常大的意义,这些数据在操作计算机上只能做简单的画面显示,不能满足护
随着我国桥梁建设的发展,出现了一些造型新颖、构造复杂的大跨度钢拱桥。其极限承载力是设计建造中的关键问题。在实际工程中,通过复杂非线性分析确定钢拱桥极限承载力的方法
甘肃地处我国内陆腹地,黄土高原、内蒙古高原、青藏高原及西秦岭、祁连山、阿尔金山等山脉横亘展布,构成了甘肃独特的地貌格局;东部季风区、西北干旱区和青藏高寒区分异叠交
本文针对企业档案的收集和整理现状,从如何更好的收集企业档案的途径以及档案的整理方法方面,谈谈自己的认识和体会。
目的:探讨纳洛酮治疗脑血栓45例的临床效果。方法本文选取90例脑血栓患者,随机划分两组,对照组采用血塞通治疗,治疗组采用纳洛酮治疗。结果两组治疗后神经功能缺损评分较治疗
黄山，已成为中国山水的一个典范，围绕它形成了中国绘画史上取之不尽的图式。摄影术进入中国之后，黄山更由此成为万众瞩目的表现对象，逐渐成为中国风景摄影某种意义上的地标。从黄
人机交互(Human Machine Interface)对于软件系统越来越重要,它已成为现代软件研究的重要课题。图形用户界面(Graphical User Interface),作为人机交互技术的重要内容,以丰富
目前,中国已经成为隧道工程发展最多、最复杂和最快的国家之一。随着城市的发展,城市隧道数量不断增加。但是,根据许多相关研究结果表明,由于受地质条件、地形条件、运输气候
【正】现代新儒家梁漱溟在思考中国文化的未来走向时,提出了一个著名论断,认为人类的未来就是中国原来态度的复兴。西方人也要走到这条路上来。这种路既指孔子的人生哲学,也
目的:探讨责任制护理小组模式在神经外科病区中的应用效果。方法回顾性分析采取传统护理模式200例患者和采用责任制护理小组模式200例患者。责任制护理小组将全体护士分成若