基于张量的高效并行计算方法研究与实现

被引量 : 0次 | 上传用户:MaoZeDongNiMaBi2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代数据具有4Vs特征,张量作为能对数据有效表示的工具走进人们的视野,它可以充分表示数据间的关联关系,有效挖掘数据隐含的深层次信息。当前对张量数据进行分析的主要手段是张量分解,张量Tucker分解方法作为一种通用的分解方法在多个领域得到了广泛应用,因此本文针对张量Tucker分解进行研究。由于数据通常是流式产生且在多个维度增长,因此本文针对多模增长的增量式张量Tucker分解方法进行研究,当前针对该方法的研究主要集中在单机领域上,对并行的计算方法的研究还很少,因此本文针对并行的多模增长的增量式张量Tucker分解方法进行研究。本文主要工作及成果如下:(1)提出并行的基于动态规划的子张量划分算法。当前已有的划分算法在统计非零元素数量时是串行执行的,实验结果表明大规模数据集下该步骤占到划分算法执行总时间的95%以上,且算法的划分结果不够均匀,极易出现严重的计算资源倾斜问题。为此,本文提出并行的基于动态规划的子张量划分算法,该算法将统计非零元素过程改为并行执行,同时引入动态规划的思想对子张量进行划分,可以极大提高执行效率,实现更均匀任务划分。实验结果表明,在千万级数据规模并行度为4的情况下,相比于已有算法,该算法的执行效率提升接近400%,划分结果均匀性提升20%以上,证明了算法的有效性。(2)提出两层并行的因子矩阵核心张量更新方法。对因子矩阵和核心张量进行更新时,已有的更新方法主要存在并行程度不高的问题,因此本文提出两层并行的更新方法。对因子矩阵进行更新时,该方法首先基于张量划分算法将子张量划分到不同任务节点,然后基于并行的MTTKP计算策略实现第一层并行更新,进一步根据同一分类下子张量更新不同因子矩阵的无关性实现第二层并行更新。在对核心张量进行更新时同样首先基于并行的MTTKP计算策略实现第一层并行,然后基于累加结果的无关性实现第二层并行更新。实验结果表明,在三阶张量情况下,相比于单层更新算法,该算法的执行效率提升接近300%,证明了算法的有效性。(3)设计并实现基于张量的高效并行计算系统。本文根据实际场景需要设计并实现基于张量的高效并行计算系统,该系统包括用户管理模块、张量表示模块、张量分解模块以及数据存储模块,同时给出了以上模块的详细设计与实现。进一步,为了验证系统可靠性,本文对系统进行了详细的功能测试,同时还使用加州PeMS交通真实数据集对分解算法进行了测试,实验结果证明系统可以稳定有效运行。
其他文献
作为马克思主义中国化时代化的最新成果,习近平新时代中国特色社会主义思想对科学社会主义有着重大贡献,其主要体现在:习近平新时代中国特色社会主义思想科学考察了世界社会主义五百年发展历程,坚持和发展了科学社会主义关于以实现共产主义为最高理想的基本原则;强调马克思主义行,坚持和发展了科学社会主义关于马克思主义是社会主义国家根本指导思想的基本原则;强调新时代坚持和发展中国特色社会主义,坚持和发展了科学社会主
期刊
2023年2月,中共中央办公厅、国务院办公厅印发《关于进一步加强财会监督工作的意见》,首次明确提出,有关部门作为财会监督的主体之一,要依法履行监督职责。本文以A市医院发展中心(以下简称“医院发展中心”)对A市市级医院的财会监督实践为例,探讨在新形势新要求下,如何贯彻落实意见精神,在深刻理解部门监督内涵,深入剖析部门监督现状与不足的基础上,提出针对性的对策建议,从而进一步发挥部门在监督体系中的重要作
期刊
习近平新时代中国特色社会主义思想对马克思主义做出了原创性贡献。把这个问题研究深、阐释透,无论在学术价值方面,还是在政治价值、社会价值和国际影响方面,都意义重大。正确把握习近平新时代中国特色社会主义思想的原创性贡献研究的方法论,要正确处理原创性贡献与创新性贡献的关系,辩证把握“原创性贡献”概念的内涵。明确在新的历史条件下,适应新的实践要求,回答新的时代课题,在马克思主义发展史上做出的重大理论创新、实
期刊
随着经济发展与社会进步,我国学前儿童教育模式逐渐发生转变。我国传统家庭教育一般由两种模式组成,一种是父母对子女直接教育,另一种是祖辈对孙辈的隔代教育。隔代教育是当前比较普遍的一种家庭教育模式,在其发展过程中会对学前儿童性格塑造以及思维模式、行为习惯形成产生一定影响。基于此,文章就隔代教育的成因、隔代教育对学前儿童性格塑造的影响因素进行分析,并提出相关解决策略。
期刊
底线思维标志性、原创性的思维范式承载着非常深厚的“实体性”内涵,其形塑不仅以理论层面的哲学基点为重要支撑,还更深层次地着眼于实践层面的科学总结,具有鲜明的现实性特征。习近平从战略全局的高度出发,多次提出要科学运用底线思维这一思想方法和工作方法来解决“桥或船”的问题,其相关论述涉及意识形态、生态建设、党的建设等国家治理的各领域各方面,为底线思维注入了新的时代内涵,对于防范化解矛盾风险、推动新时代治国
期刊
报纸
痴呆患者的照护抗拒行为是与照护活动密切相关的精神行为反应,了解该行为并制定相应的干预措施,对于痴呆护理服务具有重要的现实意义。文章系统介绍了抗拒照护的概念与行为表现、产生原因与后果、常用护理评估工具与干预措施,以期为痴呆患者的长期照护提供参考。
期刊
在现代科技飞速发展的今天,固定资产投资额日益扩大,审计业务范围日渐扩展,信息技术日益发达,这些都对审计工作提出了更高层次的要求。在传统的信息管理模式下,工程项目的审计一直采用传统的方法,在审计信息、审计时效、审计成本等方面存在问题。为此,亟需探索新的审计模式,以提高审计的有效性和效率性。近几年,随着区块链技术的不断成熟,“区块链+审计”的想法应运而生。基于此,本文提出了一种面向工程建设项目全过程的
学位
在西班牙南部的安达卢西亚长期以来是各种音乐文化的大溶炉,早年希腊、迦太基罗马、拜占廷的居民带来了地中海边远地区的音乐,后来西哥特人,又带来了他们的文化。从公元八世纪起,阿拉伯人在此建立了西哈里发帝国,统治延续了700多年。从15世纪中起,吉卜赛人又大量移居此地。因此,在安达卢西亚既有阿拉伯文化的巨大影响,又有吉卜赛歌舞艺术的强大魅力,使这个地区变成了欧洲最具有异国风味,东方色彩的地方。正是在这样的
期刊
在我国全面推动“碳达峰碳中和”发展战略的当下,低碳经济、绿色循环经济的概念受到更多人的关注。在此背景下,我国新能源企业产业与市场发展的态势值得人们的进一步关注。本文以此为切入口,重点以低碳经济为论述背景,分析了我国新能源汽车产业全新的布局需求点和未来发展走势,同时阐述了个人对此议题的思考与看法。
期刊