面向大数据的相似度度量的加速研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qq6563187
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
21世纪以来,随着信息技术的迅猛发展,数据量呈指数级增长,大数据时代已经到来并给人们的生活带来了全方位的改变。图像数据和流数据是大数据中两种最主要的数据形式。这些海量的数据给数据挖掘,尤其是其中的瓶颈,相似度度量带来了新的挑战:高吞吐量,高能量效率和多源性。由于Complementary Metal-Oxide-Semiconductor (CMOS)工艺无法继续提供Central Processing Unit (CPU)吞吐量和能量效率的提升,提升相似度度量的性能成为面向大数据挑战的一个亟待解决的问题。本文从面向架构(数字电路),面向器件(模拟电路)和面向应用(应用领域)三个角度出发,选取针对流数据处理的动态时间规整(Dynamic Time Warping, DTW)和针对图像处理的土地移动距离(Earth Mover’s Distance, EMD)这两个典型的相似度度量进行性能加速的研究。首先为了满足流数据挖掘中数据多源性以及高吞吐量的要求,我们提出了一套可扩展,可配置和高能效的基于FPGA的DTW流数据处理架构。该架构能够同时高能效高性能的处理多源流数据。在该架构中,我们选取了kNN算法来处理分类和异常检测等应用。该架构使用了数据表示方法和精度降低技术。通过设计两个环状PE结构,我们实现了DTW和kNN的可扩展性和可配置性。其次为了在具有事务管理和文件管理能力的嵌入式设备System on Chip (SoC)上实现高性能高能效的流数据挖掘,我们提出了一种基于CPU+FPGA异构平台的DTW流数据加速架构。通过充分利用DTW算法的并行性,我们实现了一个可配置的加速架构。上层应用的软件优化主要在硬核CPU上实现,而DTW加速在可编程逻辑上实现。通过软硬件结合,整个系统性能和能量效率达到最优。第三,结合新器件忆阻器我们通过模拟电路实现了DTW计算的加速。在该加速电路中,忆阻器用来同时进行计算和配置。基于忆阻器的计算是一个连续和异步的过程,因此我们提出了两种基于结果预测的优化方法来进一步加速DTW计算。我们对下限优化方法进行了改进,提出了一种提前下限优化算法。我们同时对DTW计算过程进行优化,提出了一种提前终止优化方法。第四,基于CPU+FPGA异构平台,我们提出了一种基于指令集扩展的EMD加速架构。我们首先对EMD算法进行了分析,在识别其瓶颈部分后,设计了专门的扩展指令对其进行加速。相比于已有的硬件加速,该EMD加速架构能够支持的直方图中特征变量数目有1-2个数量级的提升。第五,针对睡姿监测应用,我们对EMD算法进行了面向特定应用的优化。我们提出了一种针对睡姿应用的相似度度量,面向睡姿的土地移动距离(Body-Earth Mover’s Distance, BEMD),来对基于压力传感器的睡姿压力图进行睡姿分类。在睡姿分类过程中,BEMD没有提取任何特征。BEMD利用形状描述器首先将睡姿压力图变换成直方图,然后结合EMD和欧式距离对直方图进行相似度计算。我们提出了一个基于倾斜率的分类器对直方图之间的相似度进行处理,进而实现睡姿分类。本文就两种广泛应用于数据挖掘的相似度度量DTW和EMD进入了深入的研究,为相似度度量优化在数字电路,模拟电路和应用领域提供了理论基础。本文的研究成果能提升整个数据挖掘的处理性能,来应对大数据下数据爆炸的挑战。
其他文献
最近邻搜索是机器学习、计算机视觉和信息检索里一个重要的基础性问题。然而,在大规模高维数据环境下,给定查询点,找到其精确的最近邻需要大量的计算及存储空间。近似最近邻
曲面光学元件涉及微结构曲面光学元件和连续曲面光学元件等。该类光学元件对光学系统成像质量的提高具有显著优势,因而得到了广泛使用。但通过传统光学手段对该类光学元件面
目的:以“微信”为研究的平台,对心血管内科患者进行健康教育,并对其认知情况进行调查研究,为心血管内科患者疾病知识的提高和改善心血管内科患者生活质量提供参考依据。方法
计算机技术、信息技术以及存储技术的快速发展,为我们采集、处理与存储所获取的海量、高维、非结构化的数据提供了极大的便利。而随着信息大爆炸时代的到来,我们接触到的数据
塔式起重机基础的力学状态及形式的研究冷连富,李斌对于固定式上回转塔式起重机,下部基础是保证其安全可靠工作的重要条件。基础的可靠性主要取决于两个方面,一是能够低御塔机的
流行音乐有着独特的艺术魅力和社会功能,是反映社会发展的重要表征,是声乐教学与时俱进的鲜明体现,对声乐教学起着画龙点睛的作用,只有将流行音乐融入声乐教学的过程中,才能
声带白斑是由刺激因素长期作用于声带黏膜,导致声带黏膜上皮生长异常或成熟异常及过度角化而引起的一种白色斑块样疾病。"白斑"一词,仅为一临床描述性名词,用于描述黏膜上不
谁在借风声  与人间的眼睛交流  它如此隐晦  我没有看到它的身体  只看到它的嘴巴  它这样说……  树叶问:听见了吗?树叶反复询问  波纹问:聽见了吗?波纹追着  我的耳朵  我知道有些人不便站出来  它们担心一旦显形  会吓着另外一些人  有时,它们还化作水声  化作乌云  化作草,甚至大胆一些的月亮,星星