【摘 要】
:
传统数据仓库随着Hadoop技术的发展受到巨大挑战,Hadoop从最初解决海量数据的存储难题,到现在被越来越多的企业用来解决大数据处理问题,其应用广泛性越来越高。本文主要研究
论文部分内容阅读
传统数据仓库随着Hadoop技术的发展受到巨大挑战,Hadoop从最初解决海量数据的存储难题,到现在被越来越多的企业用来解决大数据处理问题,其应用广泛性越来越高。本文主要研究基于Hadoop系统对传统数据库数据和文本数据进行迁移,帮助传统数据仓库解决在大数据存储处理等方面遇到的难题,同时依靠Hadoop的扩展性提升数据存储和处理的性能。论文中系统根据现今传统数据仓库的应用情况及Hadoop大数据平台的前景预测,针对传统数据仓库已无法满足用户需求的问题,设计出传统数据仓库与基于Hadoop的hdfs文件系统协作进行数据存储与处理的架构,同时解决企业用户数据控制权限的要求。系统分为四个部分,数据管理、数据预处理、系统管理和发布管理提供从数据导入到数据控制,数据预处理最终实现数据发布共享的功能。系统的主要功能是采集数据和对采集到的数据进行预处理,系统设计成能够对多种类型的数据进行采集和预处理,同时系统能够实现很好的扩展功能,为系统中增加机器学习算法节点对数据进一步挖掘处理提供了可能。系统采用当下流行的Hadoop基本架构,同时结合Haddoop生态圈中的数据仓库Hive和数据迁移工具Sqoop进行数据的迁移和处理。在一定程度上能够满足企业的基本需求。系统以Web系统的方式实现,方便用户使用,在实现Web系统时采用成熟的ssm框架进行开发,保证系统的稳定性。系统从企业的实际需求出发,同时充分考虑传统数据库在企业中的应用,设计实现基于Hadoop的数据管理平台原型,为企业提供实际应用指导。本论文从系统实现的背景、系统系统需求、系统设计、系统实现以及系统测试五大模块对系统进行了全面详细的论述,全面阐述了系统实现的意义,有一定的实际应用指导意义。
其他文献
【摘要】重视数学教学的情感因素,不应仅仅出于教学手段和策略的考虑,而应该同时从数学教学的目的本身来考虑。数学是中学主要基础课之一。它的教学目的,除反映它特有的实用目的以外,无疑应服从中学教育总的教育、教养目的、服务于学生人格的全面发展。在我们常以实用性和教育教养性为教育的目的,并不难看出其中的情感内涵。 【关键词】小学数学 教学方法 1.组织学生课堂讨论要合理组建学习小组,营造良好的探究氛围
行政学的产生是与“管理行政”的模式联系在一起的,是政府社会治理方式从统治向管理转化的结果,是关于“管理”的科学。行政学作为一门科学被提出来,是威尔逊、韦伯等人的贡
音标教学对小学生来说是一项重中之重的知识内容和能力培养内容。为了小学生能够轻松愉快地学好音标、顺利地闯过语音关,我们就必须深入分析、研究音标和音标教学。 英语音标的作用和汉语拼音的作用是一样的。英语音标能够保证把每一个单词读正确,帮助学生记忆单词,使学生形成正确的语音语调,同时形成一定的自学能力。那么,如何将48个国际音标教授给学生,使学生真正掌握并能灵活运用,是摆在教师面前急待解决的课题。
目的:建立蔬菜中24种有机磷和氨基甲酸酯类农药残留的检测新方法。方法:样品用乙腈提取,经SX-3凝胶色谱柱净化,用气相色谱法进行检测。结果:24种有机磷和氨基甲酸酯类农药分离良
【摘要】计算题在小学数学的学习内容中占据着很大的比例,正确认识计算在小学数学教学中的重要作用,培养小学生的计算能力,对小学数学的教学和小学生的发展的意义不言而喻。本文就小学数学的计算教学提出几点建议。 【关键词】小学数学 计算教学 策略 计算是人们在现实生活中应用最为广泛的数学内容之一,也是小学数学教学内容的重要组成部分之一,培养小学生的计算能力也是小学数学的教学目标之一。计算能力是小学生必须
没有妇女的酵素就不可能有伟大的社会变革。社会的进步可以用女性的社会地位来精确地衡量。
全脊麻醉误入蛛网膜容易导致心跳骤停,笔者遇到1例,经抢救复苏成功,现报告如下。1病历摘要患者,男,15岁,50kg,因急性阑尾炎收住入院行阑尾切除手术。术前检查、检验均无特殊,行硬膜外麻醉。T12~L1间
中国共产党成立以来所经历的80多年的征途中,由于形势、环境的变化,其工作重点曾发生过四次大的转移.而每一次工作重点的转移,都对中国革命和建设产生过重大的影响.因此,认真