论文部分内容阅读
互联网的高速发展以及全球网民数量的快速增长，让网络服务的数据量以指数级增长。云计算作为一个新型的面向服务的计算模式，它具有资源高扩展、强大的计算和存储能力等特点。因此，本文基于目前云计算IaaS，Paas以及SaaS的三层基础框架的思想来构建和部署分布式缓存系统。本文首先介绍了该系统研究的背景及意义，国内外研究成果及现状。随后分析及介绍了云计算的特点及架构、云计算的典型应用及关键技术。在以上基础之上形成了以下本文的主要内容：1.基于Dynamo系统框架的基础上提出了DCache分布式缓存系统，并结合当下传统关系数据库的局限性进行需求分析，提出了分布式系统所需支持的三个需求：高并发读写、海量数据的高效率存储和访问、对数据库的高可扩展性和高可用性。2．对DCache分布式缓存系统的数据缓存层进行设计实现。本系统的数据缓存层技术采用memcached协议的内存分配和数据删除方式，并设计出多种存储模式以满足各种应用场景。基于该技术设计并详细介绍了缓存层与数据层的功能框架。3．本系统采用BDB嵌入式数据库作为本系统的持久化存储，并采用基于内存索引的顺序持久化模式（IFS）来解决BDB数据库面临海量数据存储与读取时的效率低下问题。IFS模式可以将随机写变成顺序写，将创建、修改、删除都演化为文件的追加。而内存中存放数据的索引，永远指向最新的数据,因此大大提高了海量数据的存储及读取速度。4．本文针对高性能分布式缓存系统DCache的海量数据应用场景，分别在JAVA和.net环境下设计、编写测试用例。并用每秒响应次数（IOPS）、带宽（throughput）这两个指标来评估数据访问能力，成功率来评估系统的可靠性。最后的测试结果证明了DCache系统在并发量和数据处理方面的优势，已经满足了预期的面对海量数据时所需要达到的需求。