【摘 要】
：
混洗(Shuffle)是连接映射(Map)端和聚合(Reduce)端的桥梁。混洗服务的可靠性和性能直接影响到应用程序的执行效率。现有的混洗机制，在内存中聚合数据时，容易产生数据溢出，造成写放大。Reduce任务在拉取数据时，会产生大量小的，随机的I/O请求，I/O队列等待时间和磁盘寻道时间占据了整个磁盘服务时间的很大一部分开销。 D-Shuffle是为解决上述问题而设计的一种计算和存储分离的混洗
论文部分内容阅读
混洗(Shuffle)是连接映射(Map)端和聚合(Reduce)端的桥梁。混洗服务的可靠性和性能直接影响到应用程序的执行效率。现有的混洗机制，在内存中聚合数据时，容易产生数据溢出，造成写放大。Reduce任务在拉取数据时，会产生大量小的，随机的I/O请求，I/O队列等待时间和磁盘寻道时间占据了整个磁盘服务时间的很大一部分开销。
D-Shuffle是为解决上述问题而设计的一种计算和存储分离的混洗服务。它将多个映射端计算完毕的数据发送到专门负责混洗的分布式混洗服务进程中，该混洗进程采用动态随机存储器(Dynamic Random Access Memory，DRAM)和非易失性内存(Non-volatile memory，NVM)混合的内存布局，将键放置于DRAM中，值放置于NVM中，对发送过来的来自多个映射端的数据进行合并，按需排序，最后写入分布式文件系统中。这个过程避免了映射端的数据溢出，并使得聚合端在拉取数据时，只需一次寻道便可拉取多个映射端的数据，同时分布式存储保证了混洗文件的可靠性。考虑到极端条件下混洗文件可能丢失的情况，D-Shuffle设计了可中断式的重计算机制，以减少重计算的开销。
D-Shuffle在Spark上的基础上实现。实验结果表明，D-Shuffle的性能明显优于Spark现有的混洗进制。D-Shuffle可以避免映射阶段的写放大，平均减少38%重计算开销，端到端的作业性能提升为23%-33%。
其他文献
深度学习作为最强大的数据挖掘技术，在各个领域都有着广泛的应用前景。然而在基于云计算的服务模式下，如果用户数据中存在隐私敏感信息，那么将存在潜在的隐私泄露风险。同时，深度学习算法提取到的中间特征不具有抗隐私分析能力，也存在对应的隐私泄露风险。 针对深度学习应用在推理阶段面临的用户数据隐私泄露风险，模型分割部署模式基于深度神经网络层级连接的特点，将神经网络从中间层一分为二，分别部署在客户端与服务器端
近年来，图规模和图数据量的快速增长使得分布式图计算吸引了越来越多研究者的注意。拥塞模型是分布式算法设计中最常使用的模型之一，然而带宽的限制使得一些复杂的图计算问题在时间复杂度(在分布式算法中多用轮数复杂度表示时间复杂度)上往往难以令人满意。分布式图性质测试是一种可以有效降低算法轮数复杂度的方法：根据给定图具备或者ε-远离目标性质，图性质测试算法会相应地以一定概率(通常为2/3)输出肯定或否定结果。
深度学习训练过程中，训练数据的传输路径一般为从磁盘到DRAM，然后再到GPU内存。该路径的效率很大程度上受限于磁盘I/O的性能。非易失性随机访问内存(Non-volatile Random Access Memory ， NVRAM )提供了一种新的解决思路。NVRAM容量大，读取速度快，但写入速度相对较慢，因而通常和DRAM组合成混合内存系统，以改善系统性能。然而，目前绝大多数深度学习系统尚未挖
随着社会公共安全需求的不断增长，高清监控设备已经遍布城市的各个角落，人们的一言一行都以图像序列的形式保存下来，传统的基于人眼分辨的模式不论是在成本还是效率方面都显得力不从心。行人重识别(Re-ID)的任务就是解决跨摄像设备下的行人匹配问题，通常被认为是目标检索的子任务，主要是利用行人步态动作、身体特征等更为全面的信息来识别人物，基于深度学习的行人重识别算法已经是当下一个热门的研究方向。 对比学习
在分布式深度学习训练中，梯度和参数的同步通常会带来巨大的网络通信开销。现有的通信优化方法主要包括通过量化或稀疏的方式进行梯度压缩和一些通信模式的优化。然而，现有的方法一般对所有层和所有网络采用同样的压缩方法，忽视了网络中不同层的不同特性及不同网络的差异性，导致优化效果不理想。 针对现有优化方法的不足，提出一种基于模型结构特性的混合通信优化方法——Hylo。采用两种不同的策略对两种不同类型的层(卷
信息时代飞速发展，给人们生活带来便利的同时也带来了信息过载。推荐系统作为一种重要的工具在各种在线平台上为消费者带来了极大的便利。神经网络和注意力机制在自然语言处理等序列任务上有着突出的表现，因此也被迅速应用到了推荐系统中。神经网络相关的推荐算法主要是通过多层感知机来获取用户的总体偏好，而注意力机制相关的方法则主要利用其能够获取序列重点的特性来实现用户序列推荐。这些方法在隐式反馈推荐上分别取得了很好
信息化时代，人们可以接触到大量信息，但相应地也给人们选择感兴趣的信息带来巨大挑战。伴随着信息爆炸，推荐算法得到了学术界和工业界的广泛关注。现代推荐系统的两个核心：一是学习用户和项目的嵌入(即将用户和项目转换为矢量化表示)，二是对交互建模，其基于嵌入重建历史交互。作为现代推荐系统的核心之一，研究更好的学习用户和项目的潜在嵌入表示的方法非常有意义。 为了更好的学习用户和项目的潜在特征表示，设计和实现
无服务计算，又被称为“函数即服务”，是云计算领域正兴起的一个事件驱动服务模型。在无服务模型中，应用由被单独执行和管理的函数组成，由用户请求触发并动态执行。目前，云服务提供商普遍采用容器或虚拟机来执行这些函数，在无服务模型中的函数通常执行时间很短(毫秒级)的情况下，容器和虚拟机的启动用时给响应用户请求带来了较高的延迟。同时，不同函数间的通信基本上依靠网络设备和共享内存完成，导致了很高的性能开销。
基于语义的用户意图识别问题属于自然语言处理问题的范畴，其本质上为一个多分类问题。随着互联网发展，人机对话系统的发展也越来越迅速，需求越来越明确，近年来得到学术界和工业界的重视。而人机对话系统中用户意图识别是很重要的模块，其准确性的提高对于系统生成合理回答有重要的意义。 目前意图识别的大部分方法都是基于语义，通过分析文本内容然后应用深度学习算法得到多分类结果。比如使用循环神经网络、长短期记忆网络以
在当今信息大爆炸的时代，各式各样的信息令人目不暇接。这不可避免地导致信息过载，使得人们在检索自己感兴趣的信息时存在一定困难。因此个性化推荐系统的重要性不言而喻。现有的推荐算法大多数都基于协同过滤，而协同过滤算法的主要不足之处在于其难以应对数据稀疏性问题。此外，协同过滤算法仅利用用户与物品的交互信息进行建模，其所挖掘的隐式信息仍不够充分。大多数相关方法仅关注显式或隐式信息中的一种，导致推荐的准确度并