MapReduce框架相关论文
针对并行深度森林算法在处理大数据问题时存在的冗余与不相关特征过多,多粒度扫描不平衡以及并行化效率低等问题,提出了大数据环境......
基于Hadoop架构的DDoS检测模型的检测效率与使用的检测算法密切相关,在传统的基于MapReduce框架编写的单一属性Counter-Based算法......
集合相似性连接从两个集合合集中找出相似度大于给定阈值的集合对,是大数据分析的重要操作,有着广泛的应用,如发现抄袭的文章、检......
随着互联网技术的迅速发展以及大数据时代的到来,使得大数据相较于传统数据,具有了4V特性——海量、变化速度快、多模态、价值总量......
传统的异常数据监测算法依靠单台计算机对异常数据进行识别,识别速度慢,且无法满足对数据处理的精确性要求。针对上述问题,文中构......
介绍了MapReduce编程框架产生的背景,研究了Hadoop MapReduce的架构和工作过程,给出了MapReduce的优缺点,并指出了下一步发展的方......
为了减少云制造平台数据中心的能耗,分析了传统服务部署及能耗情况,提出了云服务分组部署方案.该方案根据云服务所需部署的副本数......
会议
结构损伤识别本质上是一个非线性问题,由于噪声、模型误差等因素的影响,大多数情况下都是将结构损伤识别转化为一个优化问题进行求......
摘 要：针对大数据环境下关联规则数据挖掘效率不高的问题，采用Eclat算法使用垂直数据库将事务的合并转换成集合操作的方法。研究了一......
随着社交网络分析、生物信息网络分析、交通导航等新兴应用的快速增长，不同领域出现了规模庞大、内部结构复杂、查询需求多样的大图......
随着移动通信技术的飞速发展，越来越多的用户在日常生活中使用手机。为了提供移动服务，移动基站会时刻监测开机用户的当前位置以及时......
分类是数据挖掘中的重要技术，广泛应用于电子商务，生物信息学，商业智能等领域。然而，随着科技的发展特别是互联网技术的普及，数据规模和......
基于MapReduce的并行数据挖掘系统可以极大地提高数据挖掘的效率，使数据挖掘系统拥有强运算能力与海量存储能力，并且系统具有良好的......
聚类分析是数据挖掘中的核心技术之一。随着互联网的发展,现实世界中的数据量呈现爆炸式地增长,这导致传统的集中式聚类技术在面对......
学位
最近几年,随着数据信息量的激增,大数据概念兴起。大数据的处理分析受到了国内外各个研究领域的广泛关注。由于谷歌的成功案例,使......
随着互联网和物联网的蓬勃发展，大数据对传统的数据存储、处理和查询产生了挑战。应用于不同领域（例如多目标决策、数据可视化）的Skyl......
随着语义网研究的不断深入，对大规模RDF图进行语义推理的速度之慢日益凸显。在传统的语义推理机制遇到瓶颈时，应用MapReduce和HBase......
在实体识别、个性化推荐、社交网络分析和链接预测等多个领域,都会涉及到相似性度量这一问题,即需要衡量出不同对象之间的相似度。......
随着信息化时代的发展,各种各样的数据随之而来,数据结构多样化以及数据规模对相关技术提出了巨大挑战。对于处理大数据的许多应用......
大数据时代的来临使得云计算成为如今最为炙手可热的IT技术。目前,云计算技术是IT企业的基石,无论是电脑互联网,还是智能手机、GPS......
随着航天航空领域的快速发展，传统的数据存储与分析方法已经不能满足于目前的庞大数据量，而云计算技术的出现和发展，很好的解决了这一......
随着互联网的高速发展，云计算集群系统越来越大，处理数据的规模越来越大，这样就需要一个高效的分布式处理系统进行数据挖掘、计算等任......
分布式计算的发展为大数据的分析和处理提供了一个新的平台。Map Reduce是一种能够在分布式系统中实现大规模数据并行运算的分布式......
分类作为数据挖掘领域中最为活跃的分支之一,被广泛的应用于模式识别、图像识别、机器学习等领域。而且,分类在现实社会生活、生产......
随着大数据时代的到来，数据规模和种类急剧增大，如何在海量数据中找出对用户有用的信息至关重要。Skyline查询作为经典的查询算法，能......
频繁子图挖掘是图数据挖掘一个重要的研究方向,为的是找到图数据集合里频繁存在的子图集模式,从而找到图数据集合所包含的规律。随......
随着互联网的飞速发展,近年来电子商务得到了迅猛发展,交易数据激剧增加,即使采用目前最有效的Hadoop、Spark等数据处理技术也仍然......
随着Internet的快速发展,网络已经普及到社会的每一个角落。人们的日常行为和生活,越来越依赖于网络提供的信息。搜索引擎正是为大......
到目前为止IETF已公布的网络协议有5000多种,面对增长速度逐渐加快的网络协议数量,健壮性测试的难度日益加大；对于每个具体协议的测......
自1969年互联网诞生到2011年互联网被广泛应用到社会的各个领域,流经互联网的数据量至少膨胀了200亿倍,并且这些数据每天都会以更......
互联网技术的发展使信息以前所未有的速度增长和传播。随着网络数据爆炸式的增长，在网络中快速、准确地定位到自己想要查询的信息成......
近年来，随着计算机处理能力的不断提高，互联网技术取得了飞速发展，各种基于Web2.0技术的新兴网络应用的出现使得越来越多的数据被收集......
互联网的快速发展对大规模数据处理技术提出了新的挑战，目前业界广泛使用的数据处理系统多数基于Google提出的MapReduce并行处理框......
随着信息安全事件的频繁出现,用户对医疗信息的访问控制与隐私保护需求越来越迫切。但是,现有医疗信息的安全机制,特别是在分布式......
云计算是当前网络技术领域的热门话题之一，是产业界、学术界、政府等各界均十分关注的焦点。在云环境下，网络数据分布呈现复杂化、多......
随着信息技术的迅速发展，图像数据的种类和数量不断增加。如何从大规模的图像集中检索出所需要的图像成为急需解决的问题。伴随着云......
随着“大数据”概念的出现，国内外研究学者越发集中关注如何从大数据中获取有价值的知识，如何运用智能算法从海量数据中发现有意义的......
图像数据属于大数据的一种,其蕴含着大量的知识,并且图像分类被广泛地应用于各个领域中。传统图像分类模式过于落后和单一,已经无......
期刊
时间序列是按照时间先后顺序排列的数据序列,其在语音识别、天文、医学、机器学习、模式识别等诸多领域有着广泛的实际应用。在时......
随着互联网的发展迎来大数据时代,使数据量呈现指数级增长,如何在众多数据集中选择满足用户兴趣的数据成为重点研究内容。skyline......
聚类分析算法是数据挖掘领域中一个非常重要的分支,一直都受到广大国内外研究人员的喜爱。它基于用户给定的原始数据对象及其关系,......
随着工业信息化的发展,各类设备积累了海量的历史维护、故障数据,如何利用好数据挖掘技术从历史数据中提取有用信息,为工业设备故......
目前高速公路部署摄像头逐年增多,产生视频量逐年增加,对于视频的检索效率要求越来越高,现利用Hadoop分布式运算结合KAZE算法实现......
序列模式挖掘是数据挖掘领域的研究课题之一,针对传统算法对处理大数据普遍存在扩展性问题.为了改进扩展性,本文提出云模式下基于M......
期刊
云计算是一种新兴的计算范式,以虚拟化为基础,以网络为载体,为用户提供无限的计算和存储服务。目前,CPU/GPU异构环境下的高性能计......
卷积神经网络(convolutional neural networks,CNN)是深度学习技术应用最成熟的模型之一,利用卷积神经网络来提取特征进行目标识别......
随着用户数量与数据体量的飞速增长,传统基于相似性矩阵构造的协同过滤算法求解效率低下。针对这一问题,提出一种基于MapReduce框......
针对并行DCNN算法在大数据环境下网络冗余参数过多、收敛速度慢和并行效率低的问题,提出了一种并行化深度卷积神经网络优化算法—......
