【摘 要】
：
随着“大数据”时代的来临，数据的重要性及其背后蕴含的价值日益凸显，如何更为方便而高效的对数据进行处理成为亟待解决的问题。伴随多核技术的发展与普及，多核处理器已经被广泛
论文部分内容阅读
随着“大数据”时代的来临，数据的重要性及其背后蕴含的价值日益凸显，如何更为方便而高效的对数据进行处理成为亟待解决的问题。伴随多核技术的发展与普及，多核处理器已经被广泛应用于各种桌面终端和移动终端，多核平台的出现为并行数据处理提供了全新的思路和方法。 本文通过对多核平台特性以及分布式环境下MapRedce并行处理模型的深入研究，分析论证了MapReduce模型运用于多核平台的可行性及有效性，提出了一种基于MapReduce的多核并行数据处理框架:ParallelMRS。本文的主要工作是: 1、提出了ParallelMRS多核并行处理框架。针对多核平台共享内存的特点，通过共享哈希表的方式重构了MapReduce模型的shuffle处理过程，使其取得了更佳的时空效率。在此基础上，基于优化后的MapReduce模型提出ParallelMRS的设计方案，并给出其运行模型。 2、研究了ParallelMRS的关键应用接口及其实现方案。基于进程管道技术提出了Streaming应用接口，使得ParallelMRS能够无缝集成任意基于标准IO的可执行程序，有效地提升了ParallelMRS并行处理框架的适应性和易用性。 3、研究了ParallelMRS的运行时性能优化。分析了ParallelMRS中动态和静态两种任务分配策略的优缺点，明确了动态分配的选择。根据Map和Reduce的运行特点，分别提出了基于反馈自适应策略和任务窃取策略的两种负载均衡算法，优化了ParallelMRS的整体加速比。针对ParallelMRS中小块内存分配频繁的问题，提出了一个适用于多线程环境的并行内存分配器。 最终实验结果表明，ParallelMRS能够充分发挥多核平台的计算性能，取得较好的加速比，是一种方便而高效的开发并行处理应用的有效解决方案。
其他文献
图像的识别是图像处理中重要的内容之一,它在模式识别,人工智能等领域有广泛的应用价值。 首先本文针对运动物体已被检测出的二值运动图像,提出了一种计算运动图像热闹程
主动电磁轴承利用可控的电磁力将转子悬浮起来,具有无磨损,无需润滑,能在很宽的转速范围内工作,使用寿命长等一系列传统轴承无法比拟的优点。因为主动电磁轴承支撑的转子系统是一个本质不稳定、非线性和时变的系统,所以要使主动电磁轴承系统稳定的工作必须拥有一个合理的控制器。因此控制器对主动电磁轴承支撑的转子系统的性能有很大的影响。本文在分析主动电磁轴承基本工作原理的基础上,建立了主动电磁轴承-转子系统的单自由
在计算机技术及图形图像学迅速发展的今天,医学图像的三维可视化技术也日益受到重视。尤其是它在医疗诊断的过程中,能够起到使人们全面了解人体病灶结构信息的作用,本文正是
顶点链编码是数字图像处理领域非常重要的工具。链编码的优点是十分明显的。它把二维图像的存储和处理变为一维链上的问题。对于大尺度的图像，链编码可以大幅度地节省存储空间
永磁同步电机以其高效、高转矩惯量比、小体积等优点被广泛应用于工业控制中。在高性能永磁同步电机控制系统中,电机参数变化会直接影响到系统控制性能。为了提高电机的运行效率,需要电机控制系统具有参数在线辨识的功能。本文以永磁同步电机为研究对象,在矢量控制的基础上,对其负载转矩观测和转动惯量辨识两个方面进行了研究。首先,本文建立了永磁同步电机在不同坐标系下的数学模型,详细阐述了矢量控制理论,并给出了永磁同步
配电网作为电力系统中直接针对用户的环节,其对用户供电质量及可靠性有极大的影响。随着国民经济的发展、人民生活水平的提高,我国配电网的规模不断扩大,将电能优质、经济地传输给用户成为电力公司的首要任务,因此,如何全面、准确、快速地评估配电网可靠性水平成为当前研究的热点。论文将配电网可靠性评估技术与贝叶斯网络、区间分析及电力系统分析、规划等相关理论结合,对配电网潮流估算、负荷削减、可靠性计算及薄弱环节辨识
元朝建立后,江南的太湖流域迅速恢复生产,成为文人向往的乐土。经济的发展为文人提供了生活上的保证与交通的便利,文化的兴盛、富绅的赞助及杰出文人的个人魅力吸引着大批文
网络作为现实世界中广泛存在的结构形态，成为研究复杂系统性质的重要模型。随着人们对网络结构认识的深入，静态简单网络暴露出其天然的局限性。许多自然和工业系统中，实体间存在
本文选择具有合适消失矩的小波对配电网接地故障和相间短路故障后的暂态电气量进行分析，利用小波变换模极大值与奇异点的对应关系可以实现故障时刻的检测，这种方法不仅可用于单