论文部分内容阅读
缓解高并发的解决方案中除了增加服务器数量、配置服务器集群实现伸缩性架构设计以外,通过消息队列实现异步处理的过程也是必不可少。消息队列通过异步的方式将消息发送者和接收着分离,保证消息高效的传输的同时还能实现模块之间的解耦。而在云计算和大数据背景下,传统消息队列未能考虑消息本身的信息,无法基于消息本身的属性部署高性能以及用户个性化定制的消息队列服务。同时,多种复杂的应用场景要求消息队列能够灵活的变更部署方案,传统消息队列一般都是针对某一种特定的应用开发,在方案变更时难以实现动态的扩展。基于这两大问题,本文主要研究在多应用多租户多因素(Multi-application、Multi-tenant、and Multi-factor,3M)数据平台下可配置的高并发消息队列模型,主要工作如下:首先,本文对移动互联网及大数据背景下的数据平台进行充分的分析,结合3M数据平台特征提出了一种应用模式架构。在此架构中,分析了多应用多租户多因素模式给应用平台提出的新的要求,指出传统消息队列模型难以根据不同应用对消息队列的要求实现按需分配,并且无法保证核心业务的性能。提出通过虚拟消息队列组来实现多种模式消息队列之间隔离的方法,使消息队列能够按照应用需求部署多种形式的消息队列服务。随后,本文对传统消息队列模型进行了分析,指出传统消息队列模型在设计时的局限性。传统消息队列服务一般都是针对于某一种特定的应用来开发的,有关配置也只是配置消息队列本身的相关参数,无法基于消息本来携带的属性来配置。结合3M数据平台对消息队列的需求,本文提出了高并发下消息队列模型(Message Queue Model under High Concurrency,HCMQM),HCMQM通过虚拟消息队列组来实现多种模式消息队列之间的隔离,并通过配置文件来灵活的管理消息队列服务。最后,本文针对HCMQM的具体应用流程,搭建了技术平台并通过分析和比较的方式逐步确定了配置文件模板。在此基础上完成了消息队列模型的开发,并模拟高并发下多种不同的消息队列组合来验证模型的可行性,通过配置文件实现基于消息本身的多种灵活部署方案。