面向大数据处理的图搜索与深度学习算法并行优化技术研究

被引量 : 0次 | 上传用户:aykp0512
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着信息技术的迅速发展,数据为王的大数据时代已然到来,战略需求也发生了重大改变。数据是与自然资源、人力资源一样重要的战略资源,隐含了巨大的经济价值。如何有效的组织和处理大数据,将对社会经济的发展起到巨大的作用。针对各种复杂系统得到的数据,通过数据之间关联关系整合成一个网络,因此大数据面临的科学问题本质上就是网络科学问题。如何挖掘数据之间的相互关系,并将这种关联关系进行快速的分析处理是目前的一个研究热点。图搜索和深度学习算法在大数据处理中发挥了至关重要的作用。图搜索算法对数据网络进行查询、聚类、匹配等操作,从而将数据网络根据数据关联关系划分成连通子图,深度学习算法则对数据连通子图中纷繁复杂的数据进行特征抽取和分类,从而提取用户需要的关键信息。反之,深度学习算法可以对大数据中的数据进行数据挖掘、特征识别和分类,从而将一些看似孤立的数据划分为具有各种特征的数据网络,如蛋白质数据构成的蛋白质网络、Web数据构成的社会网络等等,之后图搜索对这些网络进行进一步数据挖掘,如求聚集参数、连通子图、最大独立子集等等。面对大数据处理,速度成为一个至关重要的问题,因此图搜索和深度学习的速度优化成为当前研究的一个热点,同时也是一个难点。本文针对大数据的处理,重点对图搜索和深度学习算法进行了加速研究。首先,本文研究了当前大数据的特点,并调研了相关应用。其次,本文在CPU平台上利用OpenMP并行模型对图搜索算法进行并行优化,并利用程序的局部性原理、降低同步开销以及负载均衡的方法对算法进行了并行优化。再次,针对图搜索算法访存不规则等特性,定制了FPGA算法硬件加速器。提出了使用流水线和多PE(Processing Element,处理单元)消息传递的实现方法,并针对硬件流水线并行实现的特点,提出了使用细粒度流水线优化的方法。最后,本文首先对DBN(Deep Belief Nets,深度信念网络)这一深度学习算法的工作流程进行了介绍,并总结了算法的运算特征。然后使用基于指令集的汇编语言将分类函数翻译成汇编程序,并对程序进行了性能评估。最后介绍了深度学习算法硬件加速的开发工具的情况。
其他文献
目的通过对36名老年痴呆照顾者进行健康教育指导,使他们掌握护理方法,提高对老年痴呆患者院外护理技巧。方法建立出院老年痴呆病人档案,定期随访,从饮食、睡眠、服药、安全、
抗日战争是中国人民反抗日本帝国主义侵略的伟大的神圣的民族解放战争,中国人民谱写了一部近代以来抗击外敌入侵第一次取得完全胜利的光辉历史。在抗日战争时期,日本帝国主义
随着我国市场经济的迅速发展,各种经济纠纷不断出现,其中与老百姓切身利益相关的小额纠纷不计其数。对于普通民众而言,真心希望获得法律救济的,正是这些小额案件。但是,对于
第一部分:中国人分水岭脑梗死相关危险因素及其发病机制的分析目的分析中国人分水岭脑梗死相关危险因素,讨论其病理机制,为制定合理的诊疗及二级预防方案提供依据。方法本研究
目的探讨异丙酚复合瑞芬太尼全身麻醉对妇科腹腔镜患者眼内压(IOP)的影响。方法选择择期妇科腹腔镜手术患者60例,随机分为两组:P组(异丙酚复合瑞芬太尼组)和S组(七氟醚复合瑞
随着城市建设的快速发展,高层建筑的不断涌现,深基坑的开挖面积越来越大、开挖深度也不断增加,因此选择合理、实用的基坑支护方案成为确保施工质量、安全的十分重要环节。多
<正>上个世纪的八九十年代,中国经历了一个从思想解放到文化反思的过程。而对中国现当代文学学科的反思,也曾经成为一个学术的焦点。"重写文学史"、"文学的现代性"、"现代文
目的了解马鞍山市巨大儿的发生状况并探讨其影响因素。方法选取在2011年9月至2012年9月出生的定期来安徽省马鞍山市妇幼保健院监测的单胎婴幼儿为研究对象,采用自编问卷收集
虽然慕课这种全新的教学模式已经覆盖了教育的众多学科,但以汉语教学作为唯一授课资源的慕课平台还是一个还未深度探索的领域。因此,建设汉语教学慕课网站是国内汉语国际教育
这些年来的社会经济的不断发展,使得人们对于我们周围的环境的关注越来越高,对于城市园林的景观设计也开始备受重视。弱势群体的生活参与度问题开始被人们提上日程,城市园林