论文部分内容阅读
本论文主要解决IVCE感知云平台各个子系统间的消息通信需求。原IVCE感知云平台消息分发与业务逻辑耦合,由于业务的变化,业务逻辑需要频繁的更新,当耦合的一方或多方的消息通信模块发生变化,耦合的其他成员也需要做出改变,这改变了系统原有的稳定性和可靠性,开发成本较大。即使某类消息通信模块成功完成,但是这种成功并不能有效复用,当有新的种类的虚拟资源、新的网络探测任务接入时,可能又会出现新的问题。而且消息转发分散,没有统一有效的手段监控云平台的健康状态,及时发现问题。而本论文所实现的消息分发系统解决了上述问题。首先对IVCE感知云平台各个虚拟资源节点和服务节点的消息分发中存在问题进行了研究,通过定性的分析指定定量的目标,完成消息分发系统的场景分析,确定了消息分发效率从原来的千条每秒提升到万条每秒的可执行目标。研究分布式系统相关理论,学习优秀的分布式系统开源技术,并成功运用到本论文系统的实现中。消息分发系统应对的是每日百万条消息的场景,单个节点的消息分发系统很难应对如此高并发的访问,所以消息分发系统设计成了一个分布式系统。通过物理上分散的计算节点间协调合作,实现消息的高效分发;计算节点间互为备份,实现数据冗余,容忍部分节点故障;在IVCE感知云平台的场景下,权衡数据冗余和数据一致性的矛盾问题,充分提升消息分发系统的效率。建立基础消息分发服务。研究和学习现有系统中,消息分发模型,选择合适的消息分发方式应用在本系统中,将消息分发功能通过分布式的方式实现。研究和学习操作系统支持的10技术,高效的转发消息。分析消息分发服务可能出现的异常点,并在模块设计和实现中,做出相应的应对策略。在消息分发服务的基础上,建立基于消息的监控模块,提升系统的维护效率。消息分发系统成为IVCE感知云平台的消息分发中心后,通过分析平台中各个系统间消息交互的频繁程度,间接获取到平台其它子系统的运行状态,发现IVCE感知云平台的瓶颈,定位故障节点等。有效的把握平台的运行情况,切实保证了 IVCE感知云平台的各项业务正常运行。最后利用IVCE感知云平台中现有的任务,测试消息分发系统的效率、负载均衡、监控和断流机制,证实本文设计的消息分发系统能达到预定目标。通过对消息系统的整体设计思路的研究,再具体细化到各个部分,包括存储,缓存,远程调用,质量保证,数据一致性,顺序性,幂等性,高可用性等的综合考虑,再到测试方法和测试方案的制定,提出了一种能应对复杂的基础设备和异构网络,高效安全传递和分发消息,并能在一定程度上解耦交互的消息分发系统。通过消息数据评估整个系统的运行状态的消息分发系统,为虚拟计算平台的建设提供基本技术支撑。