map-reduce相关论文
近年来,对轨迹数据的挖掘和知识发现已逐渐成为研究和关注的热点问题,并广泛应用于智能交通、个性化推荐服务等领域中。越来越多的......
云安全问题日益突出,人们对合理的云安全监控、评估与预测系统的需求也日益迫切。而针对云数据的融合分析技术可以为云安全监控提......
随着因特网的不断普及,社交媒体的广泛应用,因特网上的媒体数据有了喷井式的增加,生成了海量的信息。所以在海量图像中,检索到用户......
为保证云计算、高性能计算集群服务器系统的服务能力,需构建监控平台对各种来源数据的实现统一管理、统计分析和展现.本文面向集群......
互联网热点发现和舆论监控对政府公信力的提升有着重大的意义,而文本聚类技术在这些领域又有着非常广泛的应用。在当前互联网环境......
期刊
近几年来,Skyline查询处理在许多应用领域具有潜在的实用价值。在Map-Reduce框架下采用基于角度数据划分的方法,本文提出Cirl-Skyl......
在校园信息化过程中,传统的业务平台升级方法复杂,硬件成本太高,软硬件利用率低等缺点,本文在云计算基础上构建用于处理海量数据的数字......
As a parallel programming model,Map-Reduce is used for distributed computing of massive data.Map-Reduce model encapsulat......
研究了山洪灾害监测预警系统中雨情数据的分布式存储和分布式预测;针对采集到的水文数据急剧增长和对预测精度和预报时效的要求不......
为提高智能算法在Map-Reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在Map-Reduce作业调度......
为提高智能算法在Map-Reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在Map-Reduce作业调度......
目前,基于Hadoop视频处理的传统方法都是通过MapReduce从本地文件系统读取数据,利用帧字节流进行MapReduce间数据传输,这会产生大......
在对海量数据进行分析和处理的过程中,敏感信息的隐私保护显得尤为重要。针对统计类型数据分析服务的效率和安全问题,在Map-Reduce......
在对海量数据进行分析和处理的过程中,敏感信息的隐私保护显得尤为重要。针对统计类型数据分析服务的效率和安全问题,在Map-Reduce......
为了克服大数据在采用串行加密方式时具有的加密效率低的问题,设计了一种基于双混沌系统的大数据环境的并行加密算法;首先,设计了......
如何对大规模文档集进行高效的拷贝检测是长期以来一直受到研究者们关注的问题。通常的拷贝检测算法都需要借助倒排索引。因此良好......
如何对大规模文档集进行高效的拷贝检测是长期以来一直受到研究者们关注的问题。通常的拷贝检测算法都需要借助倒排索引。因此良好......
针对传统分类算法及技术在处理海量异构数据存在的系统性能拓展性低、计算量大、耗时长、分类效果不佳等问题,采用Map-Reduce与邻近......
针对传统分类算法及技术在处理海量异构数据存在的系统性能拓展性低、计算量大、耗时长、分类效果不佳等问题,采用Map-Reduce与邻近......
针对海量数据难处理的难题,利用Hadoop平台下的Map-Reduce模型,实施了一种改进的对海量数据进行并行处理的K-means算法.为了解决传统......
针对海量数据难处理的难题,利用Hadoop平台下的Map-Reduce模型,实施了一种改进的对海量数据进行并行处理的K-means算法.为了解决传统......
在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就......
随着网络信息量的急速增长,搜索引擎搜索信息的准确、高效显得尤为重要。PageRank算法是根据网页间链接关系对网页进行评分的算法之......
随着广播监测工作的积累和发展,广播监测数据与日俱增,传统的数据处理分析技术难以实现对海量广播监测数据进行高效的分析。基于此......
期刊
在对大数据中的特征与数据挖掘进行了简要介绍的基础上,采用Map-Reducede方法,将大数据应用在动物医院中,提出了宠物的电子芯片与......
在对大数据中的特征与数据挖掘进行了简要介绍的基础上,采用Map-Reducede方法,将大数据应用在动物医院中,提出了宠物的电子芯片与......
搜集2009-2014年Web of Science核心合集的引文数据库中大数据领域的文献,进行计量及可视化分析。利用CiteSpaceⅡ对该领域文献做......
搜集2009-2014年Web of Science核心合集的引文数据库中大数据领域的文献,进行计量及可视化分析。利用CiteSpaceⅡ对该领域文献做......
针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.......
针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.......
数据清洗是大数据中一个重要的主题。本文基于Hadoop设计并实现了一个大数据的云清洗系统。通过Map-Reduce计算模型,该系统能够检......
期刊
通过传感器采集到的作物数据进行统一管理建立作物灾情数据集群池,Map-Reduce模型映射归类预处理后,再利用BP网络动态训练,最后利......
本文对大数据Map-Reduce运行框架能耗优化算法进行研究与讨论。首先对Map-Reduce框架的特点、运行流程、工作原理进行介绍和分析,......
为了降低大数据处理集群在执行任务过程中的慢任务对作业执行效率的影响,提出了一种识别慢任务、备份慢任务、减少慢任务相结合的......
介绍了为兰州重离子加速器冷却储存环外靶实验设计实现的一套数据获取原型系统。系统借鉴流处理、Map—reduce和Bigtable等技术或......
随着位置感应设备和应用程序的日益普及,GPS轨迹数据的规模和可用性也在迅速扩展。大规模GPS轨迹数据为了解车辆和道路网络使用模......
随着软件系统在现实生活中担当的角色越来越重要,大多数用户都已不仅仅满足于系统可运行,而是开始关注系统产生的各种各样的数据,......
学位
大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的......
针对人机交互系统中碰撞检测实时性、精确性的要求,本文提出了一种基于云计算模型的快速碰撞检测算法。1提出一种新的分裂平面构建......
针对当前海量遥感数据对信息及时聚集造成的计算压力,提出了一种基于Map-Reduce编程模型的遥感时空信息快速聚集方法。该方法利用......
针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系......
本文通过描述电信运营商专业网管存在的缺点与不足以及资源浪费等缺点,提出引入云技术改变电信运营商网管系统模式向网管云转变的......
期刊
本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce......
随着互联网的高速发展,电子商务网站每天需要处理的日志信息多达几terabyte。如何廉价并且高效地去除日志中的暂时无用信息、提取......
大数据及云计算等技术带来的科研方式的转变正在影响着对高铁故障诊断技术领域的研究工作,利用云计算平台对大规模高铁监测数据进......
高压开关柜的安全运行是电力系统长期稳定供电的前提,而柜室内A、B、C三相触点温度是直接映射开关柜运行性能的重要因素。近年来,......
文章描述了Hadoop早期版本在处理智能电网大数据上的不足,同时分析了YARN规范对Map-Reduce进行改进后对电网大数据处理的优点。文......
期刊
缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳......
期刊
提出单层树型网格下单位独立任务的周期性调度方法,单位独立任务是大小相等的独立任务.首先,为单层树型网格下的单位独立任务调度......
公安视频监控技术已经从联网整合阶段发展到视频实战深度应用阶段,面对源源不断的公安视频大数据,需要研究新型的大数据处理方法。......