【摘 要】
：
远程直接内存访问（Remote Direct Memory Access,RDMA）技术的出现为构建高速分布式存储系统提供了新的可能,但是RDMA区别于传统以太网的通信特点,促使分布式系统需要重新考虑通信模块的线程架构以及数据传输方式。现有的分布式块存储系统传输过程中线程切换和锁争用开销巨大,针对这一问题提出贯穿式通信模型,一个线程贯穿整个RDMA传输周期,避免多线程通信时线程切换和锁争用开销。目
论文部分内容阅读
远程直接内存访问（Remote Direct Memory Access,RDMA）技术的出现为构建高速分布式存储系统提供了新的可能,但是RDMA区别于传统以太网的通信特点,促使分布式系统需要重新考虑通信模块的线程架构以及数据传输方式。现有的分布式块存储系统传输过程中线程切换和锁争用开销巨大,针对这一问题提出贯穿式通信模型,一个线程贯穿整个RDMA传输周期,避免多线程通信时线程切换和锁争用开销。目前大部分分布式存储系统仅使用部分RDMA传输机制进行数据传输,传输流程复杂且无法在传输不同大小数据时均有较好的性能,针对这一问题基于对不同RDMA传输机制适用场景进行分析,提出一种读写转换传输策略,READ、WRITE原语分别用于写和读流程,优化传输。传统获取RDMA完成通知方式无法兼顾低CPU占用率和低获取延迟,针对这一问题提出动态计数轮询,获取中断通知后通过计数器维持轮询模式,通过过往计数记录动态调整计数上限,高效获取完成通知的同时避免对CPU长期占用。此外,针对分布式块存储系统传输过程存在的注册内存争用和额外内存拷贝问题提出无争用内存管理方案,通过独立RDMA内存池避免内存争用,同时优化传输路径,避免注册内存和普通内存间的数据拷贝。以上RDMA通信优化技术应用于自研分布式块存储系统Flame中,测试表明,贯穿式通信模型相比Ceph通信模型延迟降低44.96%～79.58%;读写转换传输策略相较Octopus+和Ceph的传输策略,延迟分别降低了6.42%～42.43%和9.04%～30.15%、带宽分别提高了5.90%～105.39%和1.90%～46.16%、IOPS分别提高了1.54%～104.90%和1.90%～45.65%;动态计数轮询CPU占用率比忙轮询低40.40%,获取延迟比中断低36.17%;测试比较无争用内存管理方案优化前后,延迟降低了13.93%～19.61%、带宽提高了13.93%～14.01%、IOPS提高了32.49%～33.64%。整体测试显示,Flame相比分布式块存储系统Ceph和Sheepdog,带宽分别提高了17.61%～59.54%和655.81%～904.75%、IOPS分别提高了57.80%～487.70%和85.04%～394.22%。
其他文献
机器学习等读密集型应用场景对存储系统读性能的需求不断提升,拥有高带宽、低时延以及高并发性的NVMe SSD逐渐成为构建高性能存储系统的重要设备。目前主流键值存储系统通常采用日志结构合并树（Log-Structured Merge Tree,LSM-Tree）作为数据索引,然而LSM-Tree受限于自身结构和低效的I/O（Input/Output）访问模式,难以充分发挥NVMe SSD的优势。因此,
计算性能远快于存储性能的发展,传统冯·诺依曼架构下的“存储墙”问题日益凸显。基于存算一体架构的可计算存储系统通过将计算资源卸载到离数据更近的存储设备内部减少数据迁移,以缓解“存储墙”问题,成为研究热点。然而现有可计算存储研究基于定制专用软硬件协同平台,各平台间硬件与软件系统实现高度不统一,缺乏通用编程接口与运行环境且扩展性较差,各平台互不兼容、接口协议互不相同,限制了对可计算存储应用的探索。针对可
特征压缩可以减少特征数据量,对缓解机器的存储压力、降低传输时的通信资源消耗具有重要意义。特征是神经网络中最基础的部分,对各项深度学习任务的最终结果起着关键作用,因此在保证特征表达效果的前提下减少特征的数据量成为特征压缩研究的重难点。已有的特征压缩算法大都将特征通道平铺成大型二维矩阵,针对通道内的冗余进行压缩,很少考虑通道间的冗余。另外在足球视频视觉任务中提取的深度特征数据量大,给机器带来很大的计算
随着大数据技术的高速发展,越来越多的应用需要高吞吐、低延迟的缓存存储系统支持——通常由内存键值存储系统构成,比如被大量企业所采用的Memcached。但是,在类似Memcached的分布式内存存储集群中,节点故障或网络拥塞频发,导致数据在内存集群中可靠性不足。这使得系统不得不频繁访问后台磁盘节点,从而导致存储服务性能的降低。因此,内存键值存储系统的高可靠性保障对存储系统整体性能起到关键作用。相较于
互联网时代,生活节奏加快,在线浏览与碎片化阅读成为人们日常获取信息的主要渠道之一。然而,当前大数据背景下的海量信息无法满足用户快速获取高质量、高价值信息的需求,因此文章推荐系统应运而生。本论文通过对在线教育平台业务进行大数据统计分析和信息搜集,设计并实现了一个文章推荐系统:基于个性化推荐技术对拟推荐结果进行分类排序,从而得出用户兴趣偏好,最终把推荐结果推送给相应用户。在推荐系统中,当用户以及推荐物
近年来,容器云平台迎来了高速增长,但由于容器是操作系统层的虚拟化,隔离性远不如虚拟机,使得多租户的容器云平台面临着资源安全的巨大挑战。资源度量数据（如CPU使用率、内存使用率、磁盘I/O吞吐和网络I/O吞吐）能够反映宿主机和容器的资源使用情况,对其进行异常检测是保障容器云平台资源安全的重要手段。针对当前异常检测算法存在着难以挖掘周期特性、对噪声误检高等问题,提出了基于奇异谱变换和局部异常因子的异常
随着云计算的发展,越来越多的云服务提供商选择使用轻量高效的容器技术,来代替性能开销较大的虚拟机技术。为方便管理云环境中容器间的网络通信,容器Overlay网络模型被广泛使用,通过封装数据包的方式在物理链路上提供一层虚拟网络,避免了对宿主机网络的复杂配置,成为跨节点容器间的主流通信方式。然而,现有网络流量控制机制无法识别被Overlay网络模型封装的容器数据包,使得容器平台无法像控制计算资源和内存资
In the field of energy industry,PLC（programmable controller）industrial control technology is a key technology.It is the core technology to control the automatic and efficient operation of business.The
近年来,随着5G通讯、物联网、人工智能等技术的迅猛发展,各类数据每年呈指数型增长,其中80%的数据都会转变为冷数据保存。如何将海量的冷数据以安全稳定、绿色节能、低成本的方式进行长期保存成为数据中心所面临的日益严峻的问题。均匀介质体存储（Homogeneous Medium Volume Optical Data Storage,HMV-ODS）具有在标准蓝光光盘大小的盘片中廉价安全存储数十、甚至上
商业化新型非易失性内存（Non-Volatile Memory,NVM）产品的出现为实现大容量持久缓存提供了良好的机遇。在大容量持久缓存中,索引结构是决定缓存访问性能的关键因素。另一方面,持久化存储可避免缓存冷启动问题,但需要提供数据一致性保障机制,避免因意外宕机造成缓存数据不一致。因此,如何设计高效的索引结构并提供低开销的数据一致性保障机制成为构建大容量持久缓存的重要挑战。针对上述挑战,结合NV