切换导航
文档转换
企业服务
Action
Another action
Something else here
Separated link
One more separated link
vip购买
不 限
期刊论文
硕博论文
会议论文
报 纸
英文论文
全文
主题
作者
摘要
关键词
搜索
您的位置
首页
期刊论文
基于HADOOP集群的数据采集和清洗
基于HADOOP集群的数据采集和清洗
来源 :软件工程 | 被引量 : 3次 | 上传用户:ffgghhaz
【摘 要】
:
互联网的到来,使计算机行业蓬勃发展,各公司的业务数据也都到达P级别的数据量。本文结合Hadoop框架的中Hive和Hbase,对各个模块进行了详细的描述,重点分析了集群搭建步骤,及如何对集群的数据进行采集和清洗,并通过建立表来存储分析结果。
【作 者】
:
刘晨
焦合军
【出 处】
:
软件工程
【发表日期】
:
2016年11期
【关键词】
:
海量数据
HADOOP
hive
数据采集
数据清洗
mass data
Hadoop
hive
data acquisition
data clean
下载到本地 , 更方便阅读
下载此文
赞助VIP
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的到来,使计算机行业蓬勃发展,各公司的业务数据也都到达P级别的数据量。本文结合Hadoop框架的中Hive和Hbase,对各个模块进行了详细的描述,重点分析了集群搭建步骤,及如何对集群的数据进行采集和清洗,并通过建立表来存储分析结果。
其他文献
甘露醇致急性肾功能衰竭相关因素分析
近10余年来,甘露醇诱导急性肾功能衰竭(ARF)的病例报道逐渐增多,但临床上需要使用甘露醇的患者往往病情复杂,其ARF的发生也常是多种因素综合作用的结果。本文通过对使用甘露醇病例有关临床
期刊
肾功能衰竭
甘露醇
相关因素
传染性肝炎患者红细胞免疫粘附功能的初步观察
传染性肝炎患者红细胞免疫粘附功能的初步观察王学渊近年来,不断有文献报道多种微生物,寄生虫病极其患者血清中循环免疫复合物和红细胞粘附免疫复合物大量增加的情况。为了探讨
期刊
肝炎
传染性
红细胞免疫功能
粘附功能
妇科疾病误诊为急性阑尾炎17例原因分析
妇科疾病误诊为急性阑尾炎17例原因分析温州市瓯海梧埏医院外科(325014)陈宣存林正渊阑尾炎是常见的外科急腹症,但误诊误治屡有发生。据有关文献报道(1),将其它疾病误诊为阑尾炎而施行手术的
期刊
妇科疾病
宫外孕
卵巢囊肿扭转
诊断
阑尾炎
安全通信中的密钥分配教与学
保密信息的安全传输在商业贸易、网络通信、国防军事等领域有着广泛的应用需求,然而信息安全的核心无疑是密码技术,密钥分配与管理又是密码技术的关键。本文阐述了传统密码算法的密钥分配、身份密码体制的密钥分配、基于生物特征的密钥分配、量子密钥分配的常用技术,我们对它们进行了必要的分析和比较教学,达到了教学的目的,并提高了教学效果。
期刊
传统密钥
身份密钥
生物特征密钥
量子密钥
密钥分配
traditional key
identity key
biometric key
quantum ke
基于客户/服务器模式考试系统的C级防作弊策略及措施
本文首先讨论了考试系统的防作弊分级,将其分为A、B、C、D四个等级。然后,针对达到C级防作弊要求的客户/服务器考试系统,本文提出了相应的防作弊处理策略和措施,并给出了用于
期刊
防作弊等级
MSDOS批处理
注册表
ASP.NET
随机组卷
anti-cheating grades
MSDOS batch
registry
ASP
高位颈椎脊髓损伤手术的麻醉处理
高位颈椎脊髓损伤手术的麻醉处理附属第二医院麻醉科胡明品[关键词]颈椎手术;脊随损伤;麻醉颈椎部位险要,手术难度大,麻醉危险性大。我院于1991~1995年施行高位颈椎脊髓损伤手术12例,现就麻醉处
期刊
颈椎
脊随损伤
麻醉
外科手术
H.264帧间预测模式选择的快速算法优化
摘 要:在H.264视频编码器帧内预测模式下,为确定一个宏块的帧内预测模式,会带来很大的运算复杂度,基于图像差分的帧间预测模式快速选择算法,采用测定图像序列平坦度的思想,能够实现快速帧间模式选择。可以有效减少模式搜索次数并能保证视频编码的质量,从而可大幅度降低编码时间和视频压缩的计算量,有效地减少了帧间模式选择算法运算复杂度,有利于实际应用。 关键词:H.264;图像差分;模式选择;边缘信息;帧
期刊
H.264
图像差分
模式选择
边缘信息
帧间预测
H.264
image difference
mode selection
edge informat
“互联网+”背景下软件人才培养模式探索与实践
针对高职院校教师未能充分利用"互联网+"发展所带来便利,提出在教学方式的教育变革问题,介绍了软件人才培养中基于互联网环境下,学赛融合程序设计能力培养,课程教学资源、信息化教学模式,师资队伍建设,结果表明利用"互联网+"可以改进教育教学方式,提升高职人才培养质量。该模式对高职软件人才培养有较好的借鉴价值。
期刊
互联网+
人才培养
模式
脉络宁治疗脑梗塞62例临床观察
脉络宁治疗脑梗塞62例临床观察王怀村我们于1993年1月~1997年6月试用南京金陵制药厂生产的脉络宁治疗脑梗塞62例,经临床观察效果满意,现报告如下:1临床资料1.1一般资料:120例均系我院内科住院病人,诊断符
期刊
脑梗塞
中医药疗法
脉络宁
继发感染的皮脂腺囊肿的外科处理
继发感染的皮脂腺囊肿的外科处理附属第二医院外科(325027)叶云奎[关键词]皮脂腺囊肿,外科手术皮脂腺囊肿是体表常见的假性肿瘤,常不被患者所重视,一旦继发感染便引起局部肿痛或破溃,这时患
期刊
皮脂腺囊肿
外科手术
与本文相关的学术论文