Spark分布式大数据计算应用及性能优化分析

来源 :科学与信息化 | 被引量 : 0次 | 上传用户:jianweify
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文阐述了Spark分布式大数据技术在中国电信天翼高清端到端综合保障系统中的应用,Spark Streaming性能优化是天翼高清端到端综合保障系统运行的关键。为提高Spark Streaming运行性能,主要实现2条优化策略:①groupByKey、leftOuterJoin、union等算子计算方法的优化,在话单数据及统计数据Join之前实时过滤掉异常Mac话单,使得Join关联产生的数据量大幅减少,从而提升实时计算性能;②配置适当的Spark存储内存(Storage Memory)和执行内存(Exe
其他文献
实验室是高校培养创新型人才和开展科学研究的主要场所,也是使用最为频繁、人员流动性较强的地方。实验室的开放性给实验室安全管理工作带来了一定的难度。做好开放实验室的
河北港口集团服务管理公司(以下简称港口服务管理公司)负责对秦皇岛境内除秦港股份公司外的港口集团下属单位进行日常管理,业务范围涵盖港口生产运行服务、后勤服务、港口建设、
在本文中我们就高速公路机电工程建设的主要系统进行了分析,进而研究了高速公路机电工程项目中应用BIM技术进行管理的措施。
考虑控制器和执行器事件驱动、传感器时钟驱动、恒定周期采样和不大于一个采样周期的不确定时延,将有控制约束的状态反馈网络控制系统建模为含有不确定性的离散时变系统。利
摘要:为了对土霉素菌渣进行减量化处理,采用微波-碱联合作用的方法,通过正交试验和单因素试验,考察了NaOH投加量、微波功率和含水率对悬浮固体(SS)去除率的影响。试验结果表明,最佳反应条件为NaOH投加量0.09 g/g(质量分数),微波功率700 W和含水率96%,这时SS去除率达56%以上。通过扫描电镜对溶胞效果进行分析可知,该研究的土霉素菌渣减量化效果较好,可为抗生素菌渣减量化提供技术参考。
近年来,随着工业化建设的进一步深入,我国工业的现代化水平得到了极大的提高,电气自动化是工业现代化的重要特征之一。电气自动化在现代工业中的应用,不仅大幅度提高了工业生
“一杯普洱茶。”他说。他坐下来,看着窗外的车流,那是一条灯河。琴声悠扬,夹在思绪的空隙里,如歌的行板,就那么一声又一声的敲击着心思。
国际竹藤组织1997年11月6日,国际竹藤组织在中国北京正式成立,是第一个总部设在中国的独立的非营利性政府间国际组织,现已与世界50多个国家的政府、私人和非营利机构建立了广泛
扬富麦101(参试代号富F101)是扬州长富种业科技有限公司采用系谱法选育的优质中筋小麦新品种,丰产性好、抗病性和抗逆性强,综合性状好,适宜在长江中下游冬麦区的淮南麦区种植
探讨农业专业如何实现理论与实践的结合,学习与就业的结合,课堂与岗位的结合,提高学生的岗位职业能力。提出了学校与就业岗位实现“零距离”的运作模式。