Spark平台相关论文
大尺度遥感图像分割对单机处理方式而言是巨大挑战。Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能。当Spark......
高压断路器是电力网络中关键的控制设备，其正常工作能够保障系统稳定运行。对高压断路器进行故障诊断能够在设备故障初期发现问题，避......
在当今信息化时代,对客户的争夺能力已经成为电商企业能否继续生存和发展的决定性因素,客户关系管理（CRM,Customer Relationship Ma......
凿岩爆破是金属矿山开采过程中不可避免的环节,爆破扰动产生的微震信号会对岩体损伤微震信号的分析造成干扰.为了避免爆破扰动对微......
在当今时代,科学技术飞速发展,短视频靠着短小精悍、内容丰富、生动鲜明等特点逐渐走向了日常生活。短视频作为当今休闲娱乐的重要......
随着信息技术的蓬勃发展,加上互联网产品的层出不穷,人们制造和传递信息变得更加简单,造就了信息爆炸的时代。在这个时代,人们被海......
晶圆的制造是一个复杂且昂贵的过程,任何一个制造环节出现问题,都会造成晶圆的缺陷。当缺陷位于“关键区域”时,会造成功能故障,导......
为了提高大数据平台处理海量数据的性能和准确性,在分析互信息(MI)算法的基础上,设计了基于MI算法的智能化运维系统入侵检测系统.......
设计并实现基于分布式平台的大数据分析处理系统,基于Spark平台用以处理大规模时间序列数据。系统框架主要分为存储层、算子层和算......
推荐系统就是帮助用户方便快捷的找到其所需求的信息,起到连通用户和信息的桥梁作用。现实情况下,由于用户难以对数量庞大的物品都......
在传统的基于内容的推荐算法中,用户模型和物品模型的构建都是以新闻、社交、购物、视频、图书等单一领域内的数据为基础,而对用户......
为了提高智能推荐系统的性能,采用狼群优化的K-means聚类挖掘实现数据分类,通过协同过滤完成智能推荐.为了提高推荐效率,引入Spark......
协同过滤算法是在推荐系统中有着广泛应用的算法。但是随着数据量的爆炸式增长,协同过滤算法所需的计算量也随之增长。针对传统的......
随着网络技术的快速发展，安全问题也越来越突出。通常，网络管理员采用多个网络安全设备同时上线工作，以应付多样化的黑客入侵方式。然......
作为面向内存的分布式并行计算框架，Spark非常适合于迭代式计算，但是飞速增长的数据量和日益苛刻的实时性要求使得Spark平台的性能优......
随机森林，是机器学习和数据挖掘等应用中常用的算法，广泛应用于科学研究和商业应用中。随机森林由许多的决策树组成，因为这些决策树的......
随着对大型科学数据的操作要求越来越高，科学家们需要灵活的集群软件来执行快速的科学数据分析。本文在Spark平台上针对不同的实现......
组合优化问题是指从组合问题的可行解中求出最优解,但是目前利用传统方式解决组合优化问题需要极大的存储空间和极长的运行时间,而......
实践证明，元启发式已经成为解决多目标问题(Multiobjective OptimizationProblems, MOPs)的有效手段。特别是进化算法的广泛使用，使......
随着互联网和信息技术的不断发展,文本形式的非结构化数据正在不断的增加。文本分类技术能够有效地对文本数据进行组织和处理,广泛......
Web日志分析是收集用户浏览网页时产生的所有日志信息,并对这些日志进行数据转化、数据清洗、数据挖掘的过程。通过Web日志分析可......
随着网络通信技术的发展,各式各样的信息需要在网络上进行传输。图像作为信息的四大载体之一,被广泛应用到各个领域。因此图像信息......
蛋白质是生物体实现生命活动的基础,单一的蛋白质难以实现生物体丰富多彩的生命活动,它们通过彼此相互作用并形成蛋白质复合物来实......
在现代社会中信息科学技术越来越重要,大数据处理、技术更新换代、商业模式的进化需求越来越旺盛,因而对大规模数据进行有效处理,......
近年来,随着移动互联网的快速发展,基于位置服务的应用也在不断地推广。典型的相关应用包括地图导航应用、外卖点餐应用及社交应用......
频繁项集挖掘用来发现数据项集中的频繁模式,在商品关联分析和超市促销策略决策中有着广泛的应用。但是,传统的频繁项集挖掘算法的......
随着我国机动车保有量的不断增加,交通出行需求与道路资源供给之间的矛盾越来越大,导致交通拥堵频发。研究分析路网中交通运行状态......
如今我们社会的现代化步伐越来越快速,这带动着城市的经济在迅猛的发展,也大幅度提升了我们国民整体的生活水平。随之改变的就是大......
随着信息化的飞速发展,当前各大企业的互联网资产呈现种类多、使用周期长等特点,给资产管理带来了难管理、难定位等问题.为此,本文......
在当今移动互联网时代，每天都会产生海量的数据，在这些数据中蕴含着巨大的价值，而如何从中发掘出有价值的信息已经成为一个相当重要的......
针对当下数据大规模增长对计算能力需求的急剧增长,传统独立运行的机器在大规模网络社区中执行社区检测操作时无法提供所需的数据......
文章指出,大数据技术现在越来越成熟,大大提高了数据信息的利用率,尤其是大数据挖掘技术可以从海量的数据中挖掘具有价值的信息,为......
针对大规模类别数据的互信息计算量非常大的问题,利用Spark内存计算平台,提出了类别数据的并行互信息计算方法,该算法首先采用列变......
目前网络消费变得越来越频繁,但钓鱼网站给网上交易平台及相关用户带来较重的经济损失,如何有效甄别钓鱼网站,减少用户损失,显得尤......
短文本分类经常面临特征维度高、特征稀疏、分类准确率差的问题。特征扩展是解决上述问题的有效方法，但却面临更大的短文本分类效率......
提出了一种基于概率选择的K-means聚类算法,并将其应用到Spark平台进行图像聚类,得到的数据集远小于初始数据集,大大降低了算法的......
考虑Spark大数据平台内存计算框架在迭代计算的优势,提出Spark平台下KNN-ALS模型的推荐算法.针对矩阵分解算法只考虑隐含信息而忽......
针对AP算法运算时间消耗过高,相似性矩阵参考度值影响聚类效果等问题,本文提出了一种基于Spark改进的AP算法,首先对无权的数据集应......
当前采集农作物施氮量信息的方式仍以人工采集为主,效率低下且对于不同生长阶段农作物氮肥的使用量无法准确掌控,为此提出一种基于......
针对现有滚轴故障预测方法预测精度差、效率低的不足,提出一种基于Aco-k means算法的滚轴故障预测方法。在Spark平台环境下,利用小......
在并行RDD-DBSCAN算法的数据划分和区域查询过程中会对数据集进行重复访问,降低了算法效率。为此,提出基于数据划分和融合策略的并......
大数据技术的快速发展,现有的离群挖掘算法效率可能显著下降甚至不适用。Spark内存计算可以有效地降低I/O成本,并能提高数据分析和......
针对云环境下空间数据连接查询处理问题，提出了一种基于Spark的多路空间连接查询处理算法BSMWSJ．该算法采用网格划分方法将整个数据......
个性化推荐作为一种有效的信息获取手段已成功应用于电商、音乐和电影等领域。已有研究多数聚焦于推荐的精度,缺乏对推荐结果的多......
基于属性加密算法因含有大量耗时的指数运算和双线性对运算,一些方案提出将加密外包给云服务器.然而这些方案并没有给出外包加密在......
