【摘 要】
：
人工智能的迅速发展导致当前神经网络中参数的规模变得庞大,GPU中显存以及存储系统中的内存也难以在DNN训练过程中保存大量的参数文件。新兴的非易失性存储器NVM由于其读写速度接近DRAM、延迟低、容量大给DNN训练过程中大量的参数文件提供了有效的解决手段。但是如果直接仅仅更新存储设备,不做存储系统的优化,难以充分使用NVM存储设备的性能。本文在DNN训练过程中需要反复读写参数文件的背景下,针对NVM
论文部分内容阅读
人工智能的迅速发展导致当前神经网络中参数的规模变得庞大,GPU中显存以及存储系统中的内存也难以在DNN训练过程中保存大量的参数文件。新兴的非易失性存储器NVM由于其读写速度接近DRAM、延迟低、容量大给DNN训练过程中大量的参数文件提供了有效的解决手段。但是如果直接仅仅更新存储设备,不做存储系统的优化,难以充分使用NVM存储设备的性能。本文在DNN训练过程中需要反复读写参数文件的背景下,针对NVM存储设备通过优化文件系统层和设备驱动层为目标,研究和设计面向DNN快速训练的高并发NVM存储系统。（1）通过分析当前NVM存储系统面临的挑战,针对DNN训练过程中需要反复读写参数文件,从NVM文件系统层和设备驱动层两方面来进行优化,设计了面向DNN快速训练的高并发NVM存储系统的结构,包括面向DNN的高并发文件系统模块和面向DNN的高并发的NVM设备驱动模块,从而适应DNN训练过程中对于参数文件需要反复读写的特点,充分利用了NVM存储设备的优势,为NVM存储系统的读写带宽和系吞吐量提供了保障。（2）通过分析当前的NVM文件系统,针对DNN训练过程中参数文件读写以及NVM存储设备读写速度快的特点,研究和设计了面向DNN的高并发NVM文件系统。首先,定义了文件系统中基与并发线程的细粒度的结构以及给出了读写DNN参数文件过程基于细粒度锁的加锁和解锁过程;在NVM文件系统中设计了两层日志的结构,并给出了基于两层日志的并发读写策略和一致性保障策略;从而提升了读写参数文件的并发度;最后在开源的文件系统NOVA的基础上实现了面向DNN的高并发文件系统DNNFS,首先测试了DNN训练时读写不同数据集的时间开销,DNNFS相比EXT4最大减少了51.2%的读写时间开销,相比NOVA最大减少了22.1%的读写时间开销。然后测试了HTM不同迭代次数下的参数读写时间开销,DNNFS的参数读写开销相比EXT4最大减少了53.8%,相比NOVA最大减少16.6%。最后使用Filebench、Fio和IOzone中的多个负载进行了测试与分析,在使用多线程并发访问时相比NOVA最大能提高35.8%的IOPS值和21.6%的I/O带宽,相比EXT4最大能提高104.2%的I/O带宽。（3）针对DNN训练过程中要求快速读写大量参数和能容忍一定的参数读写误差等特性,研究设计了面向DNN的高并发NVM设备驱动。首先,设计了读写分离的访问请求管理策略,为提高NVM存储设备驱动并发度提供支撑;然后设计了基于冲突重试的访问请求调度策略,减少DNN参数访问的等待时间;最后在开源的NVM设备驱动PMEM源码的基础上实现了面向DNN高并发NVM设备驱动的原型DNNPMEM,首先测试DNN训练时读写不同数据集的时间开销,DNNPMEM相比PMEM最大减少了20.6%的读写时间开销。然后测试HTM不同迭代次数下的参数读写时间开销,DNNPMEM的参数读写开销相比PMEM最大减少了18.1%。最后利用Fio测试工具对顺序读写、随机读写负载进行了测试,同时使用Filebench中多种不同类型负载测试,实验结果表明DNNPMEM相比PMEM提升了2.2%～28.2%I/O带宽和10.9%～20.9%的IOPS值。
其他文献
水曲柳（Fraxinus mandshurica Rupr.）休眠特性对其生长和抗逆性均产生重要影响,杂交重组可以改变休眠习性从而改良生长和抗性性状。本研究通过对水曲柳及其种间杂交F1代休眠性状及物候的观测记录,发现种间杂交F1代在休眠性状上相较于亲本具有较早萌动和较晚停止生长等明显优势,我们详细观察记录在母本与种间杂种F1代间出现休眠表型的差异,然后进一步从激素水平、生理生化指标、基因表达、表观
杂交育种是利用杂种优势创制优良种质资源的重要方法之一,在水曲柳良种选育中更是起到重要作用。本研究针对水曲柳生长期短、易休眠等问题,以白蜡树属杂交子代F1及其水曲柳母本为实验材料比较二者的差异,通过实地性状调查、生理指标测定、表观遗传调控、关键基因差异表达分析等方法,从生长参数、生理指标、基因表达、激素含量等角度对子代F1杂种优势成因进行分析。进一步将对差异表达基因Fm GA20ox2克隆、生物信息
作为下一代互联网架构的典型代表,信息中心物联网（Information-Centric Internet of Things,IC-Io T）由于其命名路由和网内缓存的特性,能够有效降低网络传输冗余、提高内容分发效率,为未来物联网提供更加灵活、高效的网络层支撑。然而,IC-Io T在带来网络性能改善的同时,也带来了潜在的安全问题。一旦内容被分发并缓存在网络中,任何用户都可以在临近路由器中取回内容,
采用高效液相色谱的4种方法检测食品接触塑料中三聚氰胺的迁移量。选取线性回归方程、检出限、定量限、正确度、重复性5个因素,综合评价4种方法,同时检测了3种不同塑料材质的食品接触样品三聚氰胺的迁移量。结果表明,4种方法的回收率均在90%～110%之间,相对标准偏差均小于7.5%,方法 1检出限较高,方法灵敏度较低;方法 2的保留时间短,不易排除假阳性的结果;方法 4色谱峰峰形较差;方法 3为最佳测试方
在全球范围内,由重要作物病原体引起的疾病对农业生产和环境产生了巨大的负面影响,严重影响了粮食产量和生物多样性。植物在长期的进化过程中形成了复杂的防御机制来抵抗病原体的感染,而病原体也协同进化出规避防御的策略,了解植物-病原体相互作用的机制,将帮助我们培育抗病作物,减轻病原体对全球粮食生产的挑战。大量研究表明,植物病原体利用气孔作为主要入口,当发现微生物病原体时,气孔保卫细胞通过降低细胞膨压作为先天
义务教育语文课程内容主要以学习任务群组织与呈现,思辨性阅读与表达是新课标中的一个发展型学习任务群。深度学习的语文课堂从文本中的矛盾入手,促使学生提出对文本内容、言语形式的质疑,寻求辨析点;用“比较”的阅读方法,唤醒思辨意识;重视并抓住学生阅读中的“质疑”,植入思辨思维。
最近计算机视觉中主流任务之一的人和对象交互关系检测成为了热门。人和对象交互关系检测主要是使用计算机视觉来对静态图像做出判断,检测出图像中的人和对象之间是否存在一定的关系。目前,关于人和对象交互关系检测已有很多研究,它们针对不同场景下的人和对象之间的关系进行检测并且取得了一定的成果。但是现有的研究方法依然存在着一些问题急需解决。本文在大量阅读人和对象交互关系检测的国内外研究现状以及相关技术的基础之上
土壤盐渍化严重的影响植物生长和作物产量,通过多种复杂的耐盐机制提高作物的耐盐性对于全球粮食生产至关重要。越来越多的研究发现染色质表观调控因子在调节植物响应非生物胁迫过程中扮演着重要的角色。组蛋白变体H2A.Z是常规组蛋白H2A的一种变体,通过转录调节在植物生长发育、逆境胁迫中发挥着重要作用。但H2A.Z是否参与植物应答盐胁迫还不明确,H2A.Z调控植物耐盐性的研究还未见报道。因此本文通过对盐胁迫下
随着信息社会的快速发展,人们面临着信息爆炸的困境,传统的协同过滤算法已经无法满足人们对更加精准的个性化推荐需求。社交信息作为一种可靠的信息源,融合这类信息的社会化推荐算法已成为研究热点。但是,现有的社会化推荐存在信任依赖区分不明确和社交数据稀疏问题,影响模型的推荐性能。针对上述问题,本文以用户兴趣为切入点,研究并讨论了用户兴趣对社会化推荐中用户画像构建、社交好友选择和个性化重排序三个环节的优化方法
随着课标中学业质量标准的研制以及统编教材的实施，高中语文测评正在发生变化，特别是高考命题改革出现了以单元学习任务为载体的新趋势，这并非是偶然为之，而是“双新”推进的必然趋势。本文通过分析单元学习任务在“教学评”中的功能，梳理单元学习任务在高考试题中呈现的方式，进而探究“教学评”中对单元学习任务的细化、融合和运用路径，促进“教学评”的有机衔接。