基于Hadoop的应用系统框架IMSAA的设计与实现

来源 :天津大学 | 被引量 : 0次 | 上传用户:xiaxj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的飞速发展与应用,全球日均数据量持续呈级数式增长,传统的单机模式系统越来越难以对大规模数据进行有效的分析处理。与此同时,分布式计算框架Hadoop的出现,使得分布式系统的开发成本大大降低,传统企业进行分布式系统开发的需求迅速增加。本文以分层架构模式为理论基础,参照模块化和组件化的设计原则,结合分布式系统开发的特点,设计并实现了基于Hadoop的应用系统开发框架IMSAA。IMSAA框架将整个系统划分为数据导入层、数据管理层、数据服务层、数据应用层以及数据访问层五个层次。通过这种分层框架的划分,使得基于Hadoop的分布式系统开发的流程更加简单,各层次之间分工明确,耦合度得到很大的降低。本文主要研究内容包括:首先,分析大数据时代的发展背景,调研国内外相关理论与技术研究现状,分析分布式框架的研究意义;其次,对IMSAA框架进行通用需求、功能需求及非功能需求分析,明确框架的需求架构;随后,基于分层架构及插件架构的设计思想对IMSAA框架进行总体架构设计,并对框架的六大模块进行详细设计与实现;最后,使用IMSAA框架设计实现矿山技术经济评价系统,并通过系统测试验证IMSAA框架的可行性以及高效性。系统测试的结果表明IMSAA框架使软件的体系架构更加合理,提高了分布式应用系统开发的速度与效率,有效降低各个模块之间的耦合度,为分布式系统的设计与研发提出了新的解决方案。
其他文献
本文试图比较汉化的科学术语和英语科学术语的差异,分析两种语言系统对同一事物的认识特点,并且希望从中预见语言引入后,引入地语言可能会发生的变化。
本文分析了施工企业外部劳务队伍的组织形式和存在的问题,提出了如何实行劳务工人性化管理的对策,供大家参考。
阐述了写实性素描及设计素描的个体差异,分析了传统素描教学的利弊,根据艺术设计类专业的构思设计表达需求特征和高职教育的培养目标,明确了艺术设计类专业素描课程的教学思
<正> 人多、效益低是煤炭工业企业管理中的一个突出问题。1979年全国统配煤矿全员效率达到0.965吨/工,超过历史最好水平。之后劳动效率逐渐下降。1980年下降到0.912吨/工,下
目的采用循证评价方式对晶状体摘除术在原发性闭角型青光眼并发白内障治疗中的应用情况进行系统分析。方法通过选取合理的中英文关键词,并对Seek68数字图书馆以及相关文献网站
石家庄农业学校始建于1958年,是省会唯一一所国办全日制农业普通中等专业学校,55年来共培养2万余名优秀毕业生。学校立足河北,面向"三农",以现代农艺技术、畜牧兽医、园艺、园
目的探讨IQ200全自动尿沉渣分析仪、干化学分析仪、显微镜法临床检测中的应用效果。方法回顾性分析该院382例住院患者的尿检资料,对用IQ200全自动尿沉渣分析仪、H-100尿干化
<正>地方卫视异军突起,招标时代即将来临2011年,安徽、江苏、湖南卫视分别于10月20日、11月5日和11月10日举办了黄金广告资源招标会,这让原本央视唱独角戏的"广告招标"变得热
期刊
对SQL Injection攻击进行了深入的分析,提出在编程的过程中避免产生不必要安全漏洞的一些方法,并且分别从代码层次和数据库上解决SQL Injection问题,对防止SQL Injection的措
目的探讨导致新生儿高胆红素血症(neonatal hyperbilimbinemia)的危险因素,以便提前预防NH。方法收集2010年6月-2013年6月入住我院160例新生儿高胆红素血症的基本资料,调查相关病