基于Hadoop的大数据动态资源调节服务研究

来源 :成都理工大学 | 被引量 : 4次 | 上传用户:hao1238888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着技术革新,从传统互联网广泛应用到最近几年爆炸式增长的移动互联网及物联网的起步,依附在网络上的数据越来越庞大,据国际数据公司(IDC),EMC公司等最新研究表明,在移动网络设备(智能手机)及视频监控的推动下,目前全球的数据总量已经到达4870亿GB,而在2007年的相关报告表示当年的数据总量才1610亿GBN。这些数据中包括了大量的电话、邮件、照片、网络社交、新闻以及视频内容。如何有效利用这些数据,给用户提供优质的用户体验,在科学研究上,随着大量的带有GPS的数据设备采集的数据的汇集和研究都是急切需要得到技术支持。在今后,随着物联网的进一步发展,有大量服务是基于位置的服务(Location Based Service,LBS)的数据产生,也将有大量请求服务基于LBS或个人偏爱。这也致使未来需要提供的服务应该同现在统一服务相区分,针对不同的用户属性提供不同的服务资源,在浩若烟海的数据中如何最快、最正确地提供能满足用户需求、并且是在低成本状态下完成变得尤为重要。本文的主要工作如下:1.对现有的大数据存储进行分析研究,包括了GFS文件系统实现原理及Hadoop框架,为在大数据服务中的数据存储做技术支撑。2.针对数据特性进行研究,并研究相关数据挖掘算法对非结构化数据进行归纳挖掘,同时针对结构化数据进行分析读取,实现数据热点权值的初始化。本文的主要成果如下:1.在现有的Hadoop框架基础上,二次开发,修改Hadoop的存储备份算法,通过资源权值列表来实现资源文件在修改后的框架中按照数据资源热点权值存储。2.本文在Hadoop基础上设计出的资源文件权值初始化算法,当资源文件访问量增加或通过外部导入设置热点权值,实现对数据资源文件的存储节点计算并分发。3.实现了在库资源文件的热点不断变化过程中的资源文件权值调整,并通该权值来实现数据资源文件的重新分发及调整,实现了服务资源的扩增算法和服务资源收缩算法。
其他文献
由教育部主办的"珠江钢琴"全国高校音乐教育专业大学生基本功比赛,作为音乐教育专业唯一的国家级赛事,自创办以来以其明确的导向型及示范性在全国各高校的音乐教育领域引起了
目的:探讨曲安奈德局部注射治疗耳垂瘢痕疙瘩的临床疗效。方法:选择24例门诊耳垂瘢痕疙瘩患者,采用手术切除后局部注射曲安奈德。结果:1次显效16耳,3次显效34耳,远期总显效率
虽然免疫抑制剂和蛋白酶体抑制剂的应用使多发性骨髓瘤治疗领域在过去10年取得了显著进展,但该疾病仍是预后差且5年存活率最低的癌症之一。多发性骨髓瘤目前仍不可治愈,甚至
<正>咳嗽变异性哮喘(CVA)是哮喘的一种特殊类型,1972年Glauser最早提出CVA这一概念[1],此后又有其他名称如咳嗽型哮喘、隐匿型哮喘、过敏性咳嗽[2],是儿童慢性咳嗽最常见的原
仰卧位低血压综合征(supine hypotensive syndrome,SHS)又称"妊娠晚期下腔静脉综合征",是孕产妇在妊娠末期仰卧位时,增大的子宫压迫下腔静脉,使远端血液淤滞,回心血量减少,心
功能性便秘(Functional constipation,FC)是一种常见的功能性肠病。美国胃肠协会(AmericanGastroenterological Association,AGA)[2]将功能性便秘分为:正常传输型便秘(normal
目的探讨慢性咳嗽的病因及针对性治疗措施。方法以中华医学会呼吸病学分会制定的《咳嗽的诊断与治疗指南》2009版中慢性咳嗽的诊断流程为指导,对123例咳嗽时间大于8周的患者
<正> 作为一个DV爱好者,没有属于自己的一部DV无疑是一件尴尬而痛苦的事情。以前拍了一些片子,用的虽然是专业机器,但那是公家的,总之感觉还是不爽。所以,在手里攒了些银子之
蛹虫草(Cordyceps militaris (L.) Link)是一种经济价值较高的药食两用真菌。由于其自然生长过程对环境条件有一定要求,目前,人们对其生长发育的规律还不十分明确,这制约了蛹虫草的