【摘 要】
：
为应对传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题，提出了一种基于深度神经网络模型特性感知的任务切分及并行优化方法。首先结合硬件计算环境，对模型计算特性进行动态分析，获取模型内部相关性和各类参数属性，构建原始计算任务DAG（有向无环图，Directed acyclic graph）；然后利用增强反链，构建DAG节点间可分区聚类的拓扑关系，将原始DAG
【基金项目】
：
国家自然科学基金（61862037）； 兰州交通大学天佑创新团队项目（TY202002）；
论文部分内容阅读
为应对传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题，提出了一种基于深度神经网络模型特性感知的任务切分及并行优化方法。首先结合硬件计算环境，对模型计算特性进行动态分析，获取模型内部相关性和各类参数属性，构建原始计算任务DAG（有向无环图，Directed acyclic graph）；然后利用增强反链，构建DAG节点间可分区聚类的拓扑关系，将原始DAG转换为易于切分的反链DAG；再通过拓扑排序生成反链DAG状态序列，并使用动态规划将状态序列切分为不同执行阶段，分析最佳分割点进行模型切分，实现模型分区与各GPU间动态匹配；最终对批量进行微处理，通过引入流水线并行实现多迭代密集训练，提高GPU利用率，减少训练耗时。实验结果表明，与已有的模型切分方法相比，在CIFAR-10数据集上，所提模型切分及并行优化方法可实现各GPU间训练任务负载均衡，在保证模型训练精度的同时，4GPU加速比达到3.4，8GPU加速比为3.76。
其他文献
本文对尿激酶不同浓度、不同使用方法对溶栓成功率和安全性的影响进行综述，以期促进尿激酶在临床导管堵塞中的正确应用，提高堵塞导管再通率，延长导管使用时间。
新时代加强和创新社会治理，需要挖掘和阐发马克思社会治理思想作为理论根基。资本主义生产方式造成的严重社会灾难、无产阶级反抗资产阶级压迫的革命实践以及空想社会主义者对未来美好生活的描绘，构成了马克思社会治理思想的形成条件。基于社会形态更替的一般规律，马克思把国家、社会和人民分别作为社会治理的主体，主张通过大力发展生产力、积极转变国家职能和发挥人民主体作用来保障社会秩序、维护社会公正并最终实现人的全面解
柔性可穿戴压力传感器具有舒适性高、可编织性强以及可模仿人类皮肤对外界刺激做出敏锐地感知和响应等独特性能，可作为人工电子皮肤被广泛应用于医疗检测、疾病诊断、人体运动跟踪以及健康监测等领域。近几年，基于柔性可穿戴压力传感器的设计、构筑、性能探究和开发受到研究者的广泛关注。利用静电纺丝法制得的纳米纤维膜具有孔隙率高、比表面积大、易于功能化改性等优点，使其在柔性传感器构筑领域展现出极大的应用潜力。基于此，
为响应“碳达峰、碳中和”的号召，兼顾分布式能源（DG）参与下配电网运行的经济性和环保性，该文构建一种含DG的配电网双层优化模型。该模型以DG投资运行成本及环境效益为上层目标对DG进行优化配置，并以网损和电压偏移度成本为下层目标对配电网进行无功优化。针对模型特点，提出改进麻雀算法进行模型求解，增加Tent混沌映射初始化种群，引入萤火虫扰动机制改进操作算子并优化越界处理机制维持种群多样性。仿真结果表明
麻黄杏仁石膏甘草汤为治疗小儿肺系疾病常用方之一，文章借助维普、CNKI等资源数据库，通过直接法查阅及整理近十年相关文献资料，介绍了麻杏石甘汤方证研究、药理研究及临床应用，提出今后应加强对麻杏石甘汤组方药理研究、配合相关实验室、影像检查以提供客观数据，扩大临床病例纳入人数，进一步阐明麻杏石甘汤作用机制及疗效，以期为临床辨证论治提供参考。
二代高温超导带材因其能够传输高电流、产生强磁场以及冷却成本低等优势,或将逐步替代传统的Nb Ti、Nb3Sn等低温超导材料来制作超导磁体。一般的大型超导磁体例如热核聚变堆磁体、大型粒子加速器磁体等所需要运行的电流远远超过单根超导带材的载流量,因此需要将超导带材绕制成不同类型的电缆及磁体线圈。CORC（conductor on round core）电缆由于制备工艺简单、载流高、交流损耗低等特点,是
清末，康有为、梁启超等改良派从结群救亡的角度切入，将朋党与政党严格区分开，并极力鼓吹政党的优点和功用。与此同时，孙中山、章太炎等革命派团体自称革命党，积极谋求武力反清。已有研究认为，改良派与革命派在政党观上存有相反主张，改良派鼓吹议会政党，而革命派加以反对，直到民初，革命派才改变态度转而支持议会政党。但实际上，清末改良派与革命派在政党观上存在隐秘的共识，即两派都认同议会政党理念。在清末思想论战中，
以大悟县为研究区，利用2010、2020年的Landsat系列遥感数据、提取绿度、干度、湿度、热度4个指标，通过主成分分析法建立遥感生态指数RESI,定量评价大悟县生态环境状况及其变化。研究表明，大悟县2010、2020年总体处于生态环境良好的等级，RESI均值分别为0.70、0.68,但从时间上看呈现减少的趋势，生态环境质量略微下降。2010年及2020年大悟县生态环境质量都以良等级为主，其面积
设施草莓田采用轮作换茬技术，通过种植大田作物、蔬菜及牧草等，可以防止甚至规避设施草莓在栽植前及生长发育期，因大量施用化肥及水溶肥引发的土壤盐渍化现象，平衡土壤酸碱度，进一步降低重茬障碍对下茬草莓的不利影响。
CORC型缆线是目前比较流行的超导集束缆线结构之一。介绍了使用磁矩法测量CORC缆线磁化率，该方法利用亥姆霍兹线圈产生最大0.1 T、直径8 cm匀场区的交变外磁场，使用采集线圈测量样品的磁矩得到交流磁化率。通过测量铜棒样品验证该装置的可行性，并测量不同层数、不同宽度的超导带绕制的CORC缆线的交流磁化率。与超导单带磁化率对比，随着磁场增大单带的实部磁化率曲线上升，而CORC缆线的实部曲线小磁场下