深度学习中计算图可视化技术和系统的研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:liuwuguigui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习取得了迅猛的发展,并逐步发展为人工智能领域的主流研究方向。模型复杂性带来的问题是模型的缺乏可解释性,即模型是“黑盒”的,这极大地困扰着开发者、用户和监管者。可视分析是一门以可视交互界面为基础的分析推理科学,近年来在提升深度学习模型可解释性方面取得了巨大的进展。深度学习计算图的可视化是可视分析与深度学习的结合的重要技术,支持用户直观地探索模型整体结构和调试模型系统。随着模型规模的扩大,计算图复杂度也呈指数级上升,为计算图可视化带来两大挑战:1.布局效果和渲染性能不佳:由于大模型中含有大量的节点和边结构,现有的计算图可视化工具在展示多层次计算图时,出现边交叉较多、节点排列散乱等视觉混淆问题。当前计算图可视化工具多是基于SVG的第三方库实现,可视化大模型的性能不高。2.难以适配并行训练计算图:多设备并行训练是解决大模型训练性能瓶颈的一个重要方法。并行训练包含数据并行、模型并行、流水线并行、混合并行等多种并行策略,其中涉及到模型或训练数据的切分,和各个并行设备之间的通信,进一步增加了计算图结构的复杂性。目前业界还没有一个合理有效的并行训练计算图可视化解决方案。为解决问题(1)基于华为的开源深度学习框架Mind Spore开发了一个可视化系统,使用边绑定、同构子图堆叠等优化方法简化计算图的展示,并采用ELK基于层次的正交式布局算法进行布局,使得计算图的数据流向更加清晰可读。另一方面,为解决计算图展示的性能问题,采用Web GL相关技术进行渲染加速。最后,使用Res Net-50、Bert、VGG16等经典模型的测试结果表明,我们的方法在图结构可视化的简洁程度、模型结构的逻辑合理性、前端加载流畅性、用户交互易用性四个方面均优于现有的方法。针对问题(2)提出了一个新颖的计算图可视化解决方案,利用最小割算法和哈希算法,将并行训练模型的计算图处理为计算-通信二部图。并且采用堆叠算法合并计算图中存在的相同子图结构。我们使用并行训练下的Res Net-50模型对系统进行了测试。实验结果表明,我们的方法简化了模型结构的展示,有利于快速定位通信算子和观察通信算子的融合策略。
其他文献
随着人工智能技术的发展、硬件算力的提升,自动驾驶得到了长足发展,但是距离完全的车辆自动驾驶还需要一定的时间。智能汽车需要经历从辅助驾驶到完全自动化的渐进式发展过程,即人机联合驾驶阶段。本文以智能车为研究主体,搭建了人机联合驾驶仿真平台,对联合系统的权限分配问题展开研究,探索了一些高效可行的人机权限分配方法,本文的主要贡献如下:1)提出了考虑环境因素的模糊动态权限分配方法。以环境中雾的浓度、驾驶人的
随着互联网技术的发展以及物联网时代的到来,人们对更智能、更高效的信息处理方式的需求十分迫切。人工神经网络因其具备模拟生物大脑信息处理方式的能力受到了研究人员的广泛青睐,在时间记忆、非线性、高噪声等复杂的通信和感知等场景中,人工神经网络表现出了优异的性能,但其较为复杂的计算结构同时也导致了高复杂度、高功耗、过拟合、记忆渐消等问题。储备池计算是一种新颖且结构简单的神经网络机制,它对传统的递归型人工神经
随着社会的发展以及安全需求的增长,生物特征识别技术受到广泛关注。其中步态识别是一种新兴的生物特征识别技术,通过行走姿态进行身份认证。与人脸识别相比,其具有远距离非接触采集的优势,与行人重识别相比,其具有不受衣着颜色干扰的优势,因此在监控安防领域存在巨大潜力。然而在实际场景系统应用中步态识别只能作为辅助手段,其识别精度受一些外界因素的影响,例如相机视角变换、行人外观变化以及步态数据分割效果不佳等,这
工业机器人是智能制造重要的载体,推动工厂向数字化、智能化转型。技术发展离不开大量的专业人才,然而传统落后的教学模式不足以支持人才的培养,本文针对工业机器人教育培训中数字化辅助手段匮乏的问题,融入数字孪生的理念,采用虚实融合的教学实训模式,对实训系统构建所需要的关键技术展开了研究。本文的主要工作如下:(1)提出了基于数字孪生的工业机器人工作单元仿真建模技术,分析并封装机器人单元的模块信息,解析虚拟模
随着世界人口持续增长、粮食需求的增加、大宗除草剂草甘膦禁限用的趋势下,市场对S除草剂的需求量逐年呈上升趋势。面临当前生产经营变革的挑战和迎接新需求的机遇,如何确保S除草剂生产线在短期内、少投入的情况下提升产能、降低生产成本、提高市场竞争力,已成为J公司目前需要尽快解决的问题。本文通过运用约束理论对J公司S除草剂生产线产能的提升进行研究。首先,介绍了J公司和S除草剂生产线的基本情况,对S除草剂生产现
学位
随着智能制造2025的推进,楼宇管控领域在远程维护、设备接入、设备资源拓展、低带宽通信、标准化应用管理等方面出现了新的需求。边缘计算在连接、实时、智能、安全等方面优势使其迅速代替传统架构,成为新的发展方向。然而,智能楼宇应用场景中相对孤立的边缘设备在计算、网络、存储等方面资源受限,将导致各个边缘节点中提交的计算任务无法快速完成。同时,云边通信过程的时延约束使得云边两侧的实时信息同步受到较大制约,难
近二十年来生产企业对自动化、信息化的要求不断提高,工控行业因此得到了飞速发展。激烈的竞争导致利润被不断被压缩,为了在防范风险的同时保证盈利,工控企业需要不断加强项目成本控制的能力。本文以S公司为例,研究企业所存在着项目整体成本管理责任不清,管理过程失控等问题的原因和解决方案。本文通过访谈、焦点小组会议、问卷调查的研究方法,总结出S公司项目管理组织结构不适应现有业务,造成管理脱节和责任不清;项目成本
电梯安全关乎人民群众的生命财产和社会稳定,电梯曳引机制动器是电梯运行安全的关键因素之一。本文以主流的电梯曳引机板式制动器为研究对象,采用失效分析法研制了一种新型板式制动器(型号为MEKB-U),从优化设计、生产制造和在线监测等三个方面提升电梯的安全性。首先,阐述了课题的研究背景与研究意义。介绍了制动器的分类并分析了电梯曳引机制动器失效防治和FMEA(Failure Mode and Effects
近些年来,气候问题在世界范围内变得愈发重要。作为新能源的一个代表,太阳能在我国受到了高度关注,光伏产业蓬勃发展。无人机凭借其不受空间限制的特点,在巡检领域中有着深入的应用。在光伏电站,无人机巡检逐步取代了人工巡检成为了主流的巡检方式。而随着无人机技术的发展以及无人机光伏巡检的深入应用,对于无人机的路径规划提出了更高的要求。本文针对无人机光伏巡检路径规划的精细化要求,在区域划分、无人机路径规划和车机