基于Redis实现关系型数据库内存化研究

来源 :四川师范大学 | 被引量 : 0次 | 上传用户:norn1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统关系型数据库(Relational Database,RDB)因其稳定可靠和操作统一规范等优点一直以来都是信息数据最主要的存储介质。而云计算和人工智能等新技术的广泛使用催生了大量非结构化数据,这些呈指数级增长的数据对关系型数据库的存储和计算性能提出了新的挑战。在频繁读写的高并发场景下关系型数据库会出现因I/O瓶颈导致访问效率低和高异常率等问题。通过高效的内存访问技术降低与磁盘的交互频率来提升数据库系统实时响应能力是解决关系型磁盘数据库I/O读写瓶颈的有效方案。目前虽然业界推出了关系型内存数据库和内存引擎方案,但存在系统繁重、配置复杂、商业使用限制等问题。随着No SQL的发展,在数据库层面使用缓存技术实现读写分离,减少文件系统I/O次数是目前被广泛应用的提升数据库系统实时响应能力的方案,但会存在数据一致性、缓存穿透和缓存雪崩等问题。基于上述背景,本文从数据存储和数据访问角度研究开源技术,在缓存式方案的基础上提出一种轻量级全量式(含数据、关系和约束)内存化方案。该方案对数据转换、数据操作和数据备份三方面进行研究,利用Redis的读写优势对关系型数据库(以My SQL为例)进行内存化。并使用Spring Cloud技术搭建了全量式内存化微服务平台,并将内存化方案应用于实际工程。首先,本文分析了My SQL和Redis的存储模型,构建出三种不同的存储转换模式(ORB-KVM、ARB-KVM和PCB-KVCM)实现关系模型到键值模型的转换,存储转换模式中包括对数据、关系和约束的转换,并结合数据分页、多线程和Redis批量命令技术实现数据库快速批量迁移。其次,本文针对内存化到Redis中的数据设计了标准SQL访问中间件,利用Java Stream流技术和Redis的数据结构特性对Redis原生接口进行扩展与封装。同时实现了基于数据日志文件将Redis中的数据备份到My SQL。最后,对比分析三种存储转换模式在数据库迁移过程中的迁移时间和内存占用,将全量式内存化方案应用于工程实践,并将全量式内存化方案与缓存式方案和My SQL存储方案进行实验对比。实验结果表明全量式内存化方案响应时间是缓存式方案的1/4-1/2,是My SQL存储方案的1/7-1/3,同时异常率最低且吞吐量最高。
其他文献
学位
基于马克思经济学资源配置理论,探讨知识产权运营与数据要素市场化配置的关联性。在梳理数据要素市场化配置基础政策、关联政策和专门政策的基础上,对知识产权大数据平台系统、大数据金融产品、大数据中心建设和大数据产业应用联盟进行比较。结果发现:第一,我国知识产权运营领域数据要素市场化配置改革主要存在3大瓶颈:数据要素产权界定不明、交易流转不畅及安全监管不易;第二,知识产权运营领域数据要素市场化配置路径需从加
19世纪下半叶至20世纪初,实用主义哲学思想在美国兴起,之后在世界范围内造成了广泛的影响。杜威的实用主义教育思想,尤其是教育目标思想提出的一个多世纪以来,不断对我国的学校教育目标产生冲击,在当下也有着十分重要的现实意义。要对其批判的吸收,以取得实用主义教育目标思想本土化的进步。
中共中央办公厅、国务院办公厅印发了《关于进一步深化税收征管改革的意见》,明确了"十四五"时期税收工作的蓝图框架,对构建税务稽查监管新体系也提出了新的要求,加之当前大数据、云计算、人工智能技术飞速发展,原有稽查模式中监管职能定位、大数据应用、资源整合水平、规避执法风险能力等方面难以适应当前形势任务发展的需要,本文借鉴"方舱"管理模式,提出运用"区块链"技术数据整合,确保税务稽查应用数字化;实施"智能
学位
社区规划已成为提升基层社会治理能力的前沿阵地。然而,长期自上而下、重物质空间轻社会发展的建设模式,导致社区内部集体行动能力低下、对外话语权薄弱,社区可持续发展缺乏内生动力。需要衔接社区内部和对外的互动协作,重建在地性社区规划的组织模式。现有相关研究多采用"政府—市场—社会"的三元框架,缺乏层次性。基于集体行动理论和沟通规划理论,从群内多主体横向联动、群际多层级纵向协作两个层面入手,建立社区规划组织
1前言鸭星状病毒CPH株(Duck astrovirus CPH,DAstV/CPH)是本室于2013年从北京某鸭场刚出壳的雏鸭中检测到的一种新病毒[3]。随后,本室又从山东、江西和广东等省的北京鸭、朗德鹅(6-7周龄)和成年绍兴鸭中检测了类似的毒株[2,3]。为了解该病毒的流行情况及其传播途径,本研究运用DAstV/CPH株特异性RTPCR对种鸭、种蛋、出壳前死亡胚和雏鸭样品进行检测,并分
会议
随着信息技术的发展,多媒体课件已经广泛应用于教育教学中。与传统教学相比,多媒体课件教学增加了学习者的参与度,使学习者能够在更长的时间内保持学习的状态。基于此,本研究选取胶州市某幼儿园的幼儿教师为被试,采用问卷法、访谈法、现场观察法等研究方法考察多媒体课件在幼儿园语言教学活动中的应用现状,结果表明:教师对多媒体课件认识较浅,大多从网上下载;教师大多不能够熟练操作多媒体课件,操作时间长,使用时灵活性低
意外胆囊癌(incidental gallbladder cancer,IGBC)指因胆囊良性疾病行手术治疗,在术中通过冰冻病理检查(以下简称病检)或术后通过石蜡病检意外确诊的胆囊癌。相比于术前已明确诊断的胆囊癌病例,IGBC患者的病理分期通常较早,选择合适的治疗手段能改善预后,甚至可以长期无病生存。部分IGBC患者在术中通过冰冻病检明确了胆囊癌的诊断并完成了胆囊癌根治手术。但仍有许多IGBC患者
伍尔夫松的代表作《比较教育学——历史与现代问题》系统地考察了比较教育的发展阶段、基本理论,并从比较的角度揭示了现代世界教育发展的现实过程,集中体现了他的比较教育思想。本文仅就比较教育的研究对象、任务、功能,比较教育的学科属性以及比较教育的研究方法等基本理论问题对伍尔夫松的比较教育思想做出初步探讨。他的思想为了解与认识俄罗斯比较教育研究的现状打开了一扇窗户。在比较教育研究的诸多问题上,他不仅在前人的