【摘 要】
:
由于某些突发事件,例如社交网络上的热门新闻或特价商品销售,而产生的突发流量可能会导致后端服务器严重的负载不均衡问题。迁移热数据作为实现负载均衡的标准方法,在处理这种意外的负载不平衡时遇到了挑战,因为迁移数据会进一步降低已经过载的服务器的处理速度。 网络功能虚拟化是一种新兴的技术,可以灵活地将网络功能以软件的方式部署在通用服务器上。PostMan基于网络功能虚拟化设计,作为热数据迁移的替代方法,可
论文部分内容阅读
由于某些突发事件,例如社交网络上的热门新闻或特价商品销售,而产生的突发流量可能会导致后端服务器严重的负载不均衡问题。迁移热数据作为实现负载均衡的标准方法,在处理这种意外的负载不平衡时遇到了挑战,因为迁移数据会进一步降低已经过载的服务器的处理速度。
网络功能虚拟化是一种新兴的技术,可以灵活地将网络功能以软件的方式部署在通用服务器上。PostMan基于网络功能虚拟化设计,作为热数据迁移的替代方法,可以快速减轻处理小数据包的服务负载不均衡问题。由于当数据规模相同时,处理大数据包比处理小数据包所产生的CPU开销少得多,PostMan可以利用网络功能虚拟化技术,将许多被称为帮助节点的中间件部署在负载较高的服务器之前,将来自客户端的小数据包组装成大数据包。这种方法实质上是将数据包处理的开销从负载较高的服务器转移到了帮助节点上。为了实现客户端和服务端之间存在直接连接的错觉,PostMan在客户端和服务端设计了一个库以实现透明性。凭借网络功能虚拟化的特性,PostMan可以方便地启动、关闭帮助节点,并将帮助节点在服务器之间进行迁移,以支持可伸缩性和负载均衡。为了最大程度地减少开销,PostMan仅在检测到突发流量时才按需启动帮助节点。为了实现帮助节点的容错,PostMan可以在帮助节点之间迁移连接,并且在进行这种迁移的同时,也可以确保数据包排序不被打乱。
实验表明,借助PostMan,Memcached和Paxos服务器可以在数百毫秒内缓解突发流量,而迁移数据则需要数十秒的时间,且会导致数据迁移期间服务端延迟增加;进一步的实验表明,这是因为PostMan可以分别将Memcached和Paxos的吞吐量提高3.3倍和2.8倍。
其他文献
大脑神经网络对人类的思维、情感与行为都起着决定作用,在脑疾病以及类脑智能研究方面具有重要价值。而神经元是构成脑网络的基本单元,重建神经元的拓扑结构并分析其形态特征是脑网络研究中的重要方向。 近十几年来,随着神经标记和光学成像技术的逐渐成熟,科学家已经能够获得单神经元水平的全脑三维图像,为神经元形态重建奠定了数据基础。接下来的问题是如何从这些图像中识别、分割神经元的形态结构,并重建数字化三维模型。
多模型数据库是近年来数据库领域里一个新的研究方向。OrientDB作为一种新兴的多模型数据库,默认的参数配置并不能使其达到最佳性能,需要针对实际应用负载对其参数配置进行调优,现有的单模型数据库上的参数配置调优经验无法直接迁移到OrientDB上,为了降低参数配置调优难度,提高OrientDB性能,充分发挥其潜能,亟需研究OrientDB参数配置自动调优技术。 论文研究OrientDB参数配置自动
为了减少数据处理过程中数据移动带来的开销,近数据处理(Near Data Processing, NDP)提出在存储数据的地方就近处理数据。分布式对象存储系统中的存储节点不仅能用于存储数据,还可以用于近数据处理。然而现有的面向存储系统的NDP方案并未能充分利用大量存储节点的资源来满足近数据处理的需求。 首先设计并实现了一个基于存储节点的本地近数据处理方案,接着复现了已有的异地近数据处理方案,通过
新兴的非易失性存储器件(NVM ,Non-volatile Memory)具有持久性、字节寻址、高集成度、低能耗、价格低廉等优点,相比于DRAM等传统存储器件具有更广阔的发展前景。但NVM器件单元一般仅能承受108~1012次写入,远小于传统DRAM器件的使用寿命。而应用负载的写分布不均更是加速了器件的老损,如何延长NVM器件的使用寿命是目前应用研究的难点之一。 针对现有NVM器件磨损均衡方案存
近年来,云盘凭借其高可用、高可靠、低成本以及可定制化的特点,在云块存储系统中的应用越来越广泛。云块存储系统后端有很多存储仓库,系统通过一定的分配策略将新云盘分配到最合适的仓库来供用户使用。随着云计算和互联网技术的快速发展,用户数据量显著增长,对云盘的分配策略带来了巨大的挑战。由于新云盘在分配前的负载信息未知,现有的云盘分配策略仅考虑存储容量维度,从而导致云块存储系统多维度资源(例如容量、IOPS、
随着多媒体数据的爆发式增长和云存储技术的迅猛发展,海量云端数据呈现出多模态混合并存的特性,如何以内容语义为标准对其进行智能化管理和跨模态分析成为传统云存储系统面临的新挑战。一方面,数据体量的增加和模态之间的差异导致有效数据的检索难度陡然提升。另一方面,现有存储系统中,数据无法建立以内容语义为标准的标签与关联。因此,根据用户需求和内容相关性智能化检索云端多模态数据是当下亟待解决的热点问题。 目前,
大脑作为中枢神经的主要组成部分,是生物体最复杂、最重要的器官之一,其结构和功能机制是当前脑科学研究领域的热点和难点。脑科学研究者们从高分辨生物图像中重建出神经元、血管、核团形态并进行计算和分析,由于形态学研究需要大量数据,数据共享变得尤为重要。然而,目前的数据共享方式局限于文件、文字、图片、视频等静态信息,需要用户下载或者拷贝数据并使用本地软件才可进行形态观察,浪费大量人力与物力。此外,现有的可视
为了处理大量的实时数据流,现有的分布式流处理系统遵循数据并行的原理,并利用不同的数据分区策略。其中一对多分区策略(例如,ApacheStorm中的广播分组)在各种大数据应用程序中起着至关重要的作用。对于一对多数据分区,上游处理实例将生成的元组发送到大量的下游并行处理实例。现有的分布式流处理系统通常基于面向实例的通信来实现一对多数据分区,其中上游实例将数据元组分别传输到不同的下游实例。但是,多个下游
网络功能虚拟化(Network Function Virtualization,NFV)通过虚拟化技术,将传统的基于专用硬件的网络功能,以软件的形式(虚拟网络功能)部署在通用服务器上,然后按需链接对应的虚拟网络功能形成服务功能链,对用户的请求进行服务。然而由于通用服务器的处理能力有限等原因,NFV的性能是一个亟待优化的问题。传统的基于各种先决条件和模型的性能优化方案,在实际网络环境中有很大的限制性
图计算在现代社会中的应用越来越广泛,例如在社交网络,生物信息学和信息网络中均有大量应用。由于图结构的不确定性、幂律分布以及复杂依赖关系等特性,图计算在使用冯·诺依曼体系结构的通用处理器(Central Processing Unit,CPU)上的处理效率远未达到理想水平。一方面,由于图的不规则性,导致内存访问的时间过长进而引发流水线插槽无法正常地回退,后续的指令无法正常进入流水线插槽执行。因此,每