论文部分内容阅读
随着互联网的快速发展，大规模高并发的数据读写给应用服务器和数据库管理系统都带来了巨大的访问压力。传统的关系型数据库面临着扩展性、存储灵活性以及高并发写等难题。内存数据网格作为内存型的分布式键值对存储系统，凭借其易扩展、数据模型灵活以及内存存储等天然优势，有效地弥补了关系型数据库的局限性。 本论文主要针对内存数据网格系统在资源管理方面的关键技术进行研究，在内存数据网格系统OnceIMDG2.0的基础上，针对分布式数据预加载、数据访问缓存以及数据持久化等关键技术提出改进方案，合理的优化内存数据网格中CPU、内存、网络带宽等系统资源的利用情况，并尽可能地提升系统整体性能。 首先，本论文设计并实现了内存数据网格数据预加载阶段的网格均匀化预加载方案，其中包括分布式数据加载优化技术、细粒度数据并发加载技术和数据均匀化加载技术，实现了内存数据网格系统在数据预加载阶段的时空均匀化加载;其次，本论文设计并实现了面向内存数据网格的JDBC层查询结果缓存机制，用户可以在使用JDBC接口时透明地使用查询结果缓存;最后，本论文设计并实现了基于表粒度的批量数据持久化方法，这极大地节约了写操作带来的数据库连接资源消耗。 基于上述资源管理优化机制，本论文实现了内存数据网格OnceIMDG3.0系统。系统支持网格均匀化数据预加载、面向JDBC层的查询结果缓存以及基于表粒度的批量数据持久化方法。在数据预加载阶段，网格均匀化数据预加载方案消除了不必要的冗余数据并均衡了数据的分布，并且将整体预加载时间效率提升了89.9％。在开启查询结果缓存和批量数据持久化方法后，系统的响应速度最高均可提高1.75倍，吞吐量最多分别可提升58.3％和47.7％。TPC-W基准测试结果表明，相比OnceIMDG2.0系统，3.0版本系统的响应速度最高可提高2.3倍，吞吐量可提升69.8％。