hadoop集群相关论文
近年来，微服务是较流行的系统研发方案，与单机服务架构相比，它解决了行业上的许多痛点，比如大量数据同时对服务的访问，数据量暴增导致服......
传统的温室环境参数获取主要依靠各类传感器进行数据采集，采集精度较高，但由于缺乏数据分析，环境参数获取后只能依靠经验对农用设备进......
文中设计一个用于存储的平台，通过虚拟化技术实现了服务器，规划了平台的存储集群规模及服务；对存储集群架构、请求处理系统、数据库进......
传统的异常数据监测算法依靠单台计算机对异常数据进行识别,识别速度慢,且无法满足对数据处理的精确性要求。针对上述问题,文中构......
Hadoop是当前最为流行的云计算平台实现方式之一,作为一个开源的、分布式文件系统,用于海量数据的存储与计算分析.文章在Vmware虚......
利用云计算等先进技术对网络数据库进行优化总结。基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、......
Hadoop集群是学习与研究大数据不可或缺的操作平台。部署Hadoop集群需要多台计算机,在具体实践上有一定难度,也给用户带来不小的经......
随着大规模数据运算的不断发展，运算集群的规模越来越大，对系统可靠性的要求也越来越高。然而，对于如此大规模的集群，不可避免的存在着......
随着云计算在企业中的广泛使用,拥有HDFS分布式文件系统和分布式计算模型MapReduce的Hadoop成为了众多IT企业的首选。在大型企业中......
随着互联网的飞速发展，规模庞大、结构复杂、具有多个属性的网络数据日益堆积。而这些数据的共同特点是“高维性”，如各种电子商务交......
信息化年代,网络资源日益庞大,用户请求信息数据量伴随着互联网的发展而不断增加。由于集群存储系统有诸多优势,所以集群存储系统......
Hadoop集群作为云计算、大数据技术的处理平台被广泛的应用于各种各样的领域,Hadoop集群无论在商用或是科学研究方面都具有重要的......
当今,Hadoop集群在大数据时代下已经广泛使用,互联网公司对数据的处理和分析广泛使用Hadoop集群。一旦Hadoop集群失效,会导致数据......
随着计算机技术、网络技术和信息技术的发展，信息量呈爆炸式增长，我们已经生活在数据时代。在当今高度信息化的社会中，互联网已经成为......
随着信息时代的快速发展，其数据具有海量、异构、多样、动态变化等特性。面对这些海量数据，常常陷入“数据丰富，信息贫乏”的尴尬境地......
近年来,随着信息化时代的到来,数据呈现爆炸式的增长趋势,普通的大型计算机已经无法承担计算海量数据的任务,各大互联网公司纷纷采......
科学技术的发展带来了人们生活办公方式的转变,当今时代所倡导的人工智能,大数据等技术的发展都以数据作为基石。数据的价值在生活......
云计算技术的发展使得数据中心的规模和数量不断扩大,随之而来的问题是能耗成本越来越高。Hadoop是现阶段应用广泛的数据处理平台,......
随着技术的发展,数据的规模也随之增长。通过各种方法收集的原始数据(即非结构化数据)的指数增长迫使公司必须改变其业务战略和运......
当今社会视频监控已经广泛应用,随着国家“平安城市”政策的实施,以后会安装更多的视频监控设备。安装视频监控设备的一个重要目的......
数据的指数级增长向世界互联网巨头Google、Yahoo、Amazon和Microsoft等这些处于市场领导地位的公司提出了挑战，它们需要分析TB级和......
地质数据采集方式的多样性导致了数据规模的不断增长，已经达到了“地质大数据”的5“V”特点，数据管理和分析处理的复杂程度不断增加......
为了使Hadoop集群系统能够应对多变的任务及系统本身节点差异对集群性能带来的影响,采用TaskConfigure服务器构建Hadoop集群参数信......
随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题。针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已......
随着信息和数据爆炸式增长，Hadoop等海量数据处理平台日益重要，作业调度算法是Hadoop集群的核心，本文对Hadoop集群默认的三种作业调度......
摘要：Hadoop技术已经在互联网领域得到广泛的应用，同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的......
Julia编程语言是美国麻省理工学院MIT正式发布的面向科学计算的高性能编程语言。Julia集合C的速度,Matlab数学处理特征,Python的通......
在面对海量数据分类问题时,时间和空间复杂性已成为传统算法的瓶颈。在对传统的BP-AdaBoost算法进行分析的基础上,结合云计算平台,......
分析了KNN分类算法的流程,然后在K值的动态获取和分类加权两个方面对分类算法进行改进;利用MapReduce编程思想完成KNN分类算法在Ha......
目前大数据人才培养在国内外高校开始普及,但大数据实验室的几种常用建设方法都存在着诸多问题。针对大数据实验环境的特点,提出一......
提出了一种基于蚁群与遗传算法融合的自适应作业调度机制,将遗传算法全局收敛、快速搜索的优点与蚁群算法正反馈、高求精率的优势......
针对目前大数据实践教学的主要问题,在分析了Open Stack平台与其组件Sahara的特点后,采用Open Stack4J API在该平台上设计并开发了......
为了解决Algorithm_Add算法在挖掘大数据中的频繁模式时存在的内存占有量大和运行速度慢等问题,该文在深入研究Algorithm_Add算法......
随着分布式计算技术的发展，Hadoop成为大规模数据处理领域的典型代表，由于安全机制相对薄弱，缺少用户行为活动的监控，容易受到隐藏的安......
针对Hadoop应用环境复杂、网络带宽等因素多变而影响调度算法性能的问题,提出适用于多任务多目标的Hadoop调度算法(MOSMT)。在分析......
针对Nutch网页排序算法和中文分词的不足以及单机运行的效率问题,在Nutch综合网页排序中添加用户点击率、网页发布时间以及主题内......
逆变器是分布式发电系统中的重要环节,其运行状况直接影响整个系统的工作可靠性。针对分布式发电系统中逆变器运行时产生的庞大监......
大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料......
我国人口老龄化问题已引起全社会的广泛关注,空巢独居老人的养老问题尤为突出,而居家养老更符合我国国情。论文以服务社区居家养老......
首先构建海洋环境可视化云架构平台,规定利用云平台进行数据上传和存储时的数据格式,并指出在进行云计算时Hadoop中各个参数的设置......
随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对......
随着互联网、云计算时代的到来,用户已经不再为视频资源发愁,取而代之的是如何在众多资源中找到符合自身兴趣的信息。因此,既可节......
Hadoop系统是优秀的大数据处理系统,具有分布式存储和处理数据的能力,其应用环境的部署相对比较复杂,文章提出一种自动化部署Hadoo......
随着卫星遥感和航空摄影技术的不断发展,人类获得遥感影像数据的方式越来越多,使得遥感影像数据朝着高分辨率、多时相、多波段的海......
根据人工神经网络自组织、高度并行以及具有非线性映射能力的特点，提出一种基于云计算的Hadoop多模式并行分类算法。通过将自组织映......
针对Hadoop平台的节点资源优化问题,提出MapReduce参数优化策略。获取新作业执行时的资源占用特征值,计算其与作业特征库中作业的......
面对多媒体社交网络中在线视频的爆炸式增长,使用单机模式下爬虫提取新视频页面的效率低下,为此,提出一种基于Map/Reduce的并行算......
