论文部分内容阅读
在对Hadoop的大数据的研究挖掘和处理的基础上,设计了基于Hadoop的大量数据的处理方案,并运用HDFS分布式文件系统来有效保存其相关数据,同时还对索引文件的快速查找和定位进行了设计。通过使用Map/Reduce对数据进行高效的并行处理,快速地返回统计结果。
基于Hadoop的大数据的处理与挖掘
【摘 要】
：
在对Hadoop的大数据的研究挖掘和处理的基础上,设计了基于Hadoop的大量数据的处理方案,并运用HDFS分布式文件系统来有效保存其相关数据,同时还对索引文件的快速查找和定位进
【机 构】
：
山东科技大学信息工程学院
【出 处】
：
信息通信
【发表日期】
：
2014年12期
其他文献
目前是数字化时代，数字化整体转换工作的完成有赖于整体机房建设工作的完成。涉及到工作中的各个环节，这些环节有机房选址、机房装修以及环境配套建设等等，这些都对整个机房建设
文章从高压输电线路自身的特性出发，通过理论研究及模拟测试，探讨分析影响高压输电线路的因素，特别是冰雪灾害带来的弊端，同时从输电线的规划和维修保护方面制订计划来保证输电的
网络考试平台与一般的考试方法相比，不会受到时间、地点、人数等的限制，因此在许多技术性考试中得到了广泛的应用。文章主要针对计算机基础课网络考试平台的设计和实现进行了分
在我国中学阶段设立信息技术课程，是基础教育推广信息技术教育的一个重要内容与环节，作为一门独具特点的课程，初中信息技术课程受到了社会大众的广泛关注。鉴于此，文章将对初中信
为了缓解资源传输紧缺的压力,在通信工程领域,很多学者就如何提高资源传输率也做出了大量实验研究,实验证明明纺织子管这种新型工艺产品能够有效缓解管道传输压力。它不仅较
当今社会,随着网络的普及和用户量的增加,每天都产生数以亿计的数据,大数据时代已经来临,这就对计算机信息处理技术提出了新的要求。文章主要阐述了大数据时代所面临的机遇和
通过对公众关于个人健康和健康信息服务网站现状的调查分析,发现当前健康信息服务网站过于强调大众化的健康服务,注重与医院线上线下的照应关系,缺乏个性化的服务。因此提出
提出了一种使用FPGA搭建的阵列信号处理系统,可以实现降维空时自适应算法,软件上以IP核为运算元素并突出并行流水线处理结构,文中给出了实现例并进行了功能和时序分析,具有不
住宅建筑内FTTH（光纤到户）工程建设由电信业务经营者建设转为由住宅建设方建设，针对目前住宅建设方缺乏相关建设经验的情况，从建设投资界面、工程设计入手，结合FTTH工程设计经验和
近年来随着国内光伏产业的发展及相关新闻的报道，光伏发电系统的概念逐渐进入人们的日常生活，但人们普遍存在错误的观念和认识，对户用光伏电站建设（分布式电源系统）存在盲目性。文