【摘 要】
：
Hadoop是一个可开源提供分布式服务的平台,由于其具有高可靠、高效、高容错性和很强的横向扩展性,因此在大数据领域应用非常广泛,是当今大数据行业的热门。为了将关系型数据
【机 构】
：
西安邮电大学,陕西省信息化工程研究院
论文部分内容阅读
Hadoop是一个可开源提供分布式服务的平台,由于其具有高可靠、高效、高容错性和很强的横向扩展性,因此在大数据领域应用非常广泛,是当今大数据行业的热门。为了将关系型数据库中的数据导入到Hadoop集群中,以达到利用Hadoop本身的优点对数据进行存储、分析、处理的目的,并且在数据传输过程中兼顾传输效率和数据质量。本系统使用一种开源的数据传输工具Sqoop将关系型数据库中的数据导入到Hadoop平台上的分布式文件系统(HDFS)、非关系型数据库(HBase)、关系型数据仓库(Hive)中存储,从而实现数据交换。经测试,该系统可以完成数据交换的功能,系统总的传输速度可以达到20 000条/秒。在网络畅通的条件下,没有数据丢失,保证了数据质量,可实现数据的高效、可靠传输。
其他文献
中海油某油田群电网随着接入重要设备不断增多,故障点也会增多。在发生突发性电力故障时,由于各系统的时钟不统一和监测设备分辨率问题,很难找到第一触发原因。为了最大限度
患者女性，36岁。2008年5月26日因“双眼视力逐渐下降伴眼前黑影3个月”来我院就诊。眼科门诊确诊为“双眼高度近视、玻璃体混浊”，经彩色多普勒超声示：双眼玻璃体混浊。给予处方
《通信原理》是通信工程专业和电子信息工程专业针对本科生开设的一门专业基础课,它具有理论性强、知识面广、信息量大、内容更新快等特点。文中从教学内容调整、课程协调、教学方法与手段、实践教学及考核方式等多方位阐述了该课程的教学改革思想与实践经验,给出了发展《通信原理》教学的全新模式,有力促进了专业教学的深入改革。
当前较多的农业大棚仍采用传统的人工操作和控制方法,出现较多弊端。管理粗放、技术设施落实不到位、智能化水平低导致单位生产效率低、投入产出比不高、农业产品质量安全水平起伏较大。本设计提出了基于LPC4357的农业大棚管理系统,使用温度、湿度、光敏传感器检测农业大棚的温湿度和光照值,通过Zig Bee将数据传送给主控,并将最终数据显示在LCD屏上。当大棚环境中的温度高于设定值时,自动开启大棚通风系统,进
随着信息技术的发展普及,信息化建设已取得初步成效并发现一些亟需解决的问题。本文通过对信息化系统的类型、功能、适用性等方面进行分析阐述与传统工作模式弊端的分析,指出
文章在对服装连锁企业物流决策支持系统的结构进行了分析的基础上,探讨了基于大数据背景的服装连锁企业物流决策支持系统,并对其结构进行了优势分析,最后根据实际业务,介绍了
安全生产不仅是文明发展标志,更是经济建设发展、社会秩序稳定的必然。在输电线路施工中,主要为高空作业,作业难度大,受环境因素影响较大,安全隐患多。加之施工现场,人员素质
目的：探讨Nd：YAG激光治疗人工晶状体眼继发恶性青光眼的疗效。方法：回顾性分析24例（24只眼）人工晶状体眼继发恶性青光眼病例，分别采用药物联合Nd：YAG激光治疗行晶状体后囊膜及玻璃体
目的了解13年来上海市普陀区双眼盲患者的患病率、致盲疾病谱和发展趋势。方法对上海市普陀区自1993年至2005年，区内的双眼盲患者进行调查，对双眼视力低于0．1者用小孔镜检测视力
目的评价角膜异物剔除术联合碱性成纤维细胞生长因子（重组bFGF）滴眼液治疗角膜异物的疗效。方法回顾性分析角膜异物144例（144只眼），以角膜异物剔除术治疗为对照组，共68例（68只眼）；角膜