【摘 要】
:
如今我们已经步入到了高度信息化的社会,各个重要的领域都会涉及到数据的存储、处理和分析等问题。例如,天体物理研究、生物科学研究以及日常生活中使用的Internet都会产生大
论文部分内容阅读
如今我们已经步入到了高度信息化的社会,各个重要的领域都会涉及到数据的存储、处理和分析等问题。例如,天体物理研究、生物科学研究以及日常生活中使用的Internet都会产生大量的数据,这些数据很容易超过传统计算机能够存储和分析的能力范围。Hadoop是一种针对大数据分析的开源分布式计算平台,支持海量数据的分布式存储和并行计算。目前,Hadoop这种处理大规模密集型数据的计算平台已经受到国内外大型IT公司、社交网络、全球各大通信运营商等的广泛关注及应用。然而对于庞大数据的管理,往往需要业务员具有相关专业的素养。为了降低数据管理的成本,简化业务员管理数据的工作,社交网络公司Facebook自主开发了一个闭源的工具HiPal。 HiPal采用图形化的方式,直接访问数据仓库Hive,从而完成数据发现、查询编辑、制图和仪表盘创建等功能。HiPal仅局限于对Hive的操作,不能胜任跨平台的数据处理。本文设计并实现了一个面向数据分析人员和数据处理人员的海量数据处理图形化工具。系统的设计构架采用的是客户端/服务器模型,后台数据处理以Hadoop平台为基础,在Hadoop平台和客户端之间设计了一个统筹服务的服务端,用于沟通客户端和底层的Hadoop平台。客户端设计为图形化界面,面向用户提供数据管理。工作流设计和任务管理方面,针对客户端的不同的功能,服务端相应的划分了数据管理模块、工作流解析模块和定时任务管理模块来解析和响应客户端的请求。系统的工作模式是客户端向服务端发送请求,针对客户端发送的不同类型的请求,服务端经过解析和处理客户端请求,最后将结果反馈给客户端。
其他文献
目的探讨大鼠心肌成纤维细胞(cardiac fibroblasts,CFs)经血管紧张素Ⅱ (angiotensinⅡ,Ang Ⅱ)、醛固酮及其受体拮抗剂干预后CFs细胞活性的改变以及对细胞中致心肌纤维化相关
在低迷的经济环境下,也有一些逆势上扬的亮点公司,例如澳大利亚的Altium在2008年下半年销售额达2720万美元,同比增长18%,尤其中国大陆业务飙升了70%。作为一体化电子设计解决方案开发商,该公司Protel工具和Altium Designer设计平台在我国有较高的用户认知度,成功绝非偶然。 与众不同的模式 Altium公司自成立之初,就定位为要成为一家与众不同的创新公司,目标首
冠状动脉左主干狭窄(LMS)是特殊的冠脉病变之一,这种病变在冠心病患者中大概占5%左右,多表现为多支冠脉狭窄、阻塞等,会造成患者左心室的严重供血不足,从而引发重大心脏事件,甚至猝死
嵌入式的最高境界是智能机器人人们对嵌入式进行了各种各样的定义,例如“嵌入式设备就是一类想要不成为计算机的计算机。”这听起来很幽默,但是不能完全对嵌入式特性进行很好的
腰椎滑脱是临床上常见的下腰痛疾患,在我国发病率较高,为4%-5%。大多数患者经保守治疗症状可缓解,但仍有约20%的患者因双侧神经根管骨性狭窄而持续性加重,本文对我院2003年至2011年1
文化需要宏观,却生怕空泛;文化讲究精致,却生怕琐碎。遗憾的是,当代文化思维,大多陷于空泛和琐碎两极。不少人还在两极之间频频转换,一会儿大言宇宙洪荒,一会儿痴迷雕虫小技,
目的观察支气管肺泡灌洗地塞米松联合痰热清注射液治疗急性肺损伤的疗效及对血浆和肺泡灌洗液炎性因子的影响。方法将88例急性肺损伤患者随机分为观察组44例和对照组44例,2组
《反垄断法》对于经营者从事垄断协议行为的民事责任做了初步的规定。鉴于行业协会从事限制竞争时,存在垄断协议行为类型特殊、社会危害行较大、隐蔽不易察觉的特点,其民事责
“一带一路”沿线国家和地区的留学生,通过参与社会实践习得中华优秀文化,这既可以加强汉语知识的学习,又能丰富中华文化的传播内容。要加强实践课程化建设,联合社会化力量,