spark相关论文
硬盘是计算机最主要的存储设备。随着计算机软硬件技术与互联网技术的发展,人们产生的数据量正在以指数级增长,其中的重要数据的安......
我国是煤炭生产和消费大国,在很长一段时间内,煤炭都是国家的主要能源。随着煤炭电子商务时代的到来,煤炭电商让煤炭交易更加便捷,......
提升客户满意度是通信运营企业提高品牌竞争力、扩大市场份额的重要手段。通过大数据技术有效预测潜在不满客户,将有助于运营商更......
近年来,在线教育资源日益丰富,数量呈现指数型的增长,资源的类型也从传统的文字、图片向音、视频等多媒体信息转变。视频教育资源......
随着具有高频数据流特性的D-PMU设备的广泛应用和普及，配电网系统中的量测数据量爆炸式增长，对大数据处理技术的要求越来越高。为了......
随着遥感技术的飞速发展，海量遥感影像及时、高效、波段可灵活组合可视化共享需求强烈，针对影响海量影像快速可视化共享服务显示速度......
为促进期刊融媒体发展，提高杂志社网站的知识服务能力，实现为读者提供论文在线推荐服务，提出了一种基于数据仓库的论文推荐方法。首先......
随着民航业的迅猛发展,通用航空飞行数据急剧增加,社会对通用航空提出了更高的安全要求。面对飞行数据的急剧增加,传统的架构已无......
互联网应用的规模飞速扩大,所产生的信息量呈指数级上升,对于海量数据的挖掘与利用变得越来越重要。随着互联网电商平台竞争越来越......
随着大数据时代的带来，使用互联网的人数呈直线式增长，随之电信运营商的业务规模不断扩大，面对如此庞大的电信用户数据，准确分析与挖掘......
随着互联网行业的飞速发展,人们需要被记录的互联网行为越来越多,传统的数据存储及处理方式已经无法满足大众的需求。Hadoop、Spar......
我国的养殖信息出现了过载现象,这是养殖行业正面临着的一大难题,水产养殖行业亦是如此。为了减缓信息与数据过载的情况,也为了从......
我国经济实力的增强带动了烟草行业的兴起，随着人们的需求不断增加，烟草行业的竞争愈演愈烈，不再是只关注烟草的生产，其质量与品牌效应......
近年来,随着高性能通信技术和工业互联网的快速发展,各行各业都将面临PB级别数据的处理。聚类分析作为数据挖掘中一种常用的无监督......
目前,个性化推荐系统无论是在电子商务领域还是社交网络方面都有非常重要的作用。社区团购模式与传统电子商务模式相比,其重点在于......
该文运用文献信息分析法、逻辑分析法等科学研究手段，从SPARK课程教学目标、价值取向、课题教学流程、课堂教学环境、课题评价等多......
在万物互联的互联网时代大背景下,互联网渗透了人们生活的各个领域。以计算机网络为基础的大数据分析技术也应运而生,人们尝试着将......
学位
伴随着科技革命以及信息技术的成熟,我国社会步入互联网和大数据时代,网络从根本上改变了民众的生活习惯,电影产业也进入了前所未......
为了解决Spark作业运行过程中性能评估和性能优化问题，文章提出一种基于层次分析的Spark作业性能评估和分析方法。首先，针对由于特征......
针对企业海量数据进行快速、科学地处理分析，及时获取对企业管理和决策有价值的信息成为企业重要关切。文章给出一种基于Spark的大......
随着互联网的快速发展，各行各业都在不断引入新的信息技术，在大数据环境下如何通过信息化技术推测顾客对菜品、口味的偏好，并向顾客智......
风能作为一种新能源,其优势在于它是干净、无污染、可再生的绿色能源,风能解决了传统燃油带来的污染问题,并且蕴藏丰富、成本低廉,......
新冠肺炎疫情给世界各国的经济和教育带来巨大挑战。作为国家战略性新兴专业，大数据专业的人才培养与培训相对滞后，此次疫情对大数据......
高光谱遥感技术利用地表物质与电磁波的相互作用及其所形成的光谱反射、吸收等特性,实现对地物的识别及环境的分析,被广泛应用于矿......
日常生活和科研工程领域中的许多问题通过建模可以转化为多目标优化问题,多目标进化算法是解决这些问题的一种有效方法,但是存在计......
学位
随着互联网技术的快速发展,网络安全环境也面临严重问题。网络流量异常检测技术是网络安全保障的基础,也是网络安全研究的重要组成......
群体智能算法能够有效处理传统优化算法难以解决的优化问题,但随着求解优化问题的时间空间代价的巨幅增长,单机环境下使用群体智能......
甘蔗作为我国农业领域重要的农产品,不仅是生产食糖的重要原料,也是一种新型的能源材料。在我国很多省份甘蔗种植业已成为当地人的......
集群资源管理器作为基础设施中的重要组件,在集群环境下将各种资源抽象成共享资源池,并在此之上将计算任务调度至各个计算节点进行......
随着机械工业与计算机科学的不断发展,数值仿真模拟在机械设计与制造各个阶段被广泛应用,极大降低了实验成本。在数值分析与工业仿......
对比模式清晰表述了含有类标签的数据集之间的各类差异,它能够捕捉各类数据之间的区分性特征,常被用来建立高精确的分类器。然而,......
大数据是近几年非常热门的一个研究议题,其应用场景已经扩展到许多其他学科当中,而GIS行业关注的重点则主要是时空大数据。挖掘利......
当今诸多工程问题及科学研究中，都面临着大数据处理和高性能计算任务的双重挑战。基于内存计算技术提出的分布式处理框架Spark已在......
压缩感知(compressive sensing,CS)方法在合成孔径雷达(synthetic aperture radar,SAR)成像中应用广泛,但其存在计算时间长和计算......
随着经济与城市化的飞速发展,公安机关面临数据爆发式增长的挑战,尤其是随着近年来物联网发展的日益成熟,导致公共安全面临的数据......
随着我国新能源产业的逐渐成熟,火电产业的发展正面临着巨大的压力。但是作为传统能源,火力发电仍占据重要地位,如何节能降耗,提高......
随着大数据的流行,越来越多的分布式计算框架（比如Hadoop、Spark等）被应用到实际的大数据应用中。为了解决大数据平台下的数据管理核......
增量数据更新是各个异构系统之间进行数据共享融合的关键，也是构建增量式数据仓库来进行数据分析的关键。随着大数据技术的发展，传统......
函数依赖发现,是一种面向关系型数据的重要分析技术,是数据清洗、质量评估和语义分析的重要手段,被广泛应用于分布式大数据分析。......
在导弹生产生命周期中,装配作为其最后一道生产工序,其中装配质量很大程度上会影响导弹整个生产质量。为了保证装配的质量,最关键......
随着信息化技术在传统制造业的快速发展与应用,对数据资源合理利用的需求日益增长。离散制造设备作为数据资源的来源,在离散制造的......
