海量数据实时分析技术的研究与应用

被引量 : 5次 | 上传用户:huangwei0541
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来社会高速的信息化发展,在数据量很大并且实时性要求很高的系统中,如何提高处理数据的效率已经成为了一个重要的研究方向。在普遍采用传统磁盘数据库的系统中,数据的实时处理、更新操作等事务在磁盘操作上耗费了很多时间,针对这个问题,本研究采用内存机制,在不破坏原有数据库结构的基础上,提高数据处理的速度,进而达到系统的实时性要求。另一方面,随着硬件材料和计算机技术的发展,内存变得廉价,而且操作系统可以提供巨大的地址空间,使得将海量数据全部载入内存成为可能。为了使用内存机制来解决海量数据实时分析的问题,本文将对内存数据库进行探索。本文题目选自“安全可信的电信级生殖健康服务运营支撑体系关键技术研究”项目,以其中的决策支持系统为背景,主要解决系统中的“工作量统计”模块存在的处理速度慢的问题。本文首先对内存数据库系统的相关理论进行研究,包括内存数据库的结构、存储空间的创建、分配、管理,两种数据组织方式以及三种索引机制;然后针对CPU高速缓存和内存之间的速度差异研究了内存数据库的缓存优化技术,分析了缓存失配带来的问题、比较了几种索引结构的缓存效率,并提出了一种基于哈希索引的缓存优化方法,对其进行实现和测试,证明其对内存数据库系统的效率确有提高;最后,本文以“安全可信的电信级生殖健康服务运营支撑体系关键技术研究”的决策支持系统为背景,设计实现了一个内存数据库系统,它将磁盘数据库中的数据载入到内存,对其进行存储管理和索引优化,满足上层业务应用的访问需求。
其他文献
目的:对喘息性疾病婴幼儿行潮气呼吸肺功能检测及支气管舒张试验,探讨其特点和重要呼吸参数的变化,为婴幼儿哮喘和肺炎疾病的临床诊治提供客观的实验室依据。方法:在平静呼吸
本论文通过例举对比吉本芭娜娜的四部作品中感觉表现的数量、对比五种感觉表现出现次数并引用原文具体分析感觉表现在文章中隐藏的深刻意义和感情,进而分析阐述感觉表现在其
<正> 在民主德国目前仍然多数使用混凝土、钢筋混凝土及预应力混凝土结构。大部分混凝土结构物经长期使用无腐蚀破坏,呈现较好的长期使用性能。然而也有不少混凝土建筑物及构
在"世界历史"时代,一个民族的社会变迁在愈来愈大的程度上具有了"世界历史"意义。作为一场影响广泛而深远的伟大实践活动,中国特色社会主义不仅是中国的,也是世界的。它推动
针对新时期水利工程质量安全存在的问题和挑战及水利发展的要求,阐述了加强水利工程质量安全科学监管的总体思路和理念,并从完善保证体系建设、夯实工程质量安全管理基础,加
人才培养问题研究自古就有,随着社会的进步,人才培养理念与做法也在与时俱进。国内外人才培养的理念、人才培养的做法、人才培养的保障机制及人才培养的评价机制等方面文献很
近年来我国第三方支付平台飞速发展,消费者的交易越来越依赖第三方支付平台。但由于我国法律对于第三方支付平台的规定存在漏洞,以及第三方支付平台自身发展中存在些问题,未
目的:探讨2型糖尿病病人的体型特征。方法:随机抽取呼和浩特市各医院内分泌科门诊及住院的2型糖尿病初诊病例293例(男153例,女140例),运用Heath-Carter体型法进行体型研究,按
《挽歌诗三首》是陶渊明对死亡的一次精神漫游 ,他以虚拟的方式探讨死亡问题 ,并外化为具体的诗歌表达。本文将以对比阅读的方式 ,对其文本内容 ,内部结构以及诗体形式 ,作一
对英汉新闻话语的词汇特点进行初步的定量分析就会发现新闻话语的一些语言学特点,这对帮助外语学习者更好地了解新闻话语,获取更多的语言知识和信息,促进交际的顺利进行,并在