随着移动互联网、4G/5G、物联网等技术的快速发展,各类应用所积累的数据规模正在飞速增长,大数据时代已然到来,成为眼前的现实。在2003到2008年间,谷歌公司发表了一系列关于大数据系统的论文,引起了延续至今的工业界和学术界的研究热潮。在这一阶段,Hadoop/Spark/Flink等技术已经逐渐成熟,成为了海量数据处理的基本解决方案。然而,由于短视频、智慧城市、数据可视化、交互式分析等新领域的兴起,上述大数据系统受限于CPU在并行计算能力和能源效率上的不足,难以满足时效性以及经济性的需求。一个很自然的想法是采用非CPU的新平台来执行计算。在最初,图形处理器（Graphics Processing Unit,简称GPU）是用于游戏图形渲染的专用加速硬件。但由于GPU架构具有不同的设计取舍,相对于CPU具有更高的并行计算潜力,工业界和学术界着手发掘GPU在非图形学的通用计算领域的应用。目前基于GPU的方案已经在深度学习和高性能计算领域获得巨大成功。很自然地,人们联想到将高并行的GPU引入到大数据处理场景。由于大数据处理从本质上更接近数据密集型负载,与此前的高性能计算负载不同,需要考虑不同的优化策略。特别地,CPU和GPU间分离的物理内存空间通过带宽有限的PCIe总线互连,限制了两者的协同工作。此外,GPU上的显存相对于主存,在容量上也较为有限。在这些特性的限制下,现有技术难以直接迁移到CPU-GPU异构平台下。因此目前迫切需要改进现有技术,以应对新的挑战。本文的研究工作围绕CPU-GPU异构架构展开,并从三个方面研究如何挖掘新型GPU的硬件加速特性,优化数据处理技术。本文主要的工作和贡献如下:（1）异构加速的数据分析框架:现有的大数据系统,如Apache Spark等,计算能力受制于Java虚拟机（JVM）限制,难以满足日益苛刻的需求。近年来,具有高算力的GPU在高性能计算和和深度学习领域获得巨大成功。尽管如此,受制于现有耦合式架构的限制,数据分析系统难以利用GPU等新型硬件加速器。为了从基础架构上解决上述问题,本文将数据分析的执行过程拆解为相互分离的控制平面和数据平面两个部分。其中,控制平面负责维护轻量级的控制信息,并与现有大数据系统相互配合,而数据平面则负责在裸机CPU和GPU上高效地执行计算。在解耦合的架构下,数据平面的底层实现得以绕过已有控制平面的限制,从而充分挖掘CPU和GPU的潜力,实现相对于JVM引擎处理能力具有最多14.7倍的性能提升。（2）GPU推断的缓存与批量执行优化:随着深度学习的流行,GPU推断已经成为大数据系统的重要组成部分。然而,随着GPU算力的逐渐进步,非计算因素将逐渐成为瓶颈。在目前基于推断服务的解决方案中,数据处理和推断执行的分离限制了端到端的优化潜力。本文尝试将两者综合考虑,降低了从输入数据到GPU执行中的非计算性开销。在这个设计上,本文提出了近设备缓存技术,挖掘GPU显存上的数据局部性,降低PCIe传输量。在传统的批量执行上,本文引入聚合/分散原语实现缓存感知的批量执行技术。最后,为了避免缓存更新和执行的并发冲突,并同时利用GPU的传输和计算资源,本文提出了基于交错执行和周期性同步的调度协议。实验显示综合上述技术可以实现相对数据处理和推断分离方式最多3.5倍的性能。（3）分离式CPU-GPU架构的流水线优化:受限于CPU-GPU系统的分离物理内存,异构流水线常基于微批次机制及其变种来实现,主要面向粗粒度执行负载而优化。对于细粒度的执行批次,频繁的GPU软件驱动调用将成为潜在的性能瓶颈。为了解决上述问题,本文研究了面向分离式CPU-GPU系统的连续流水线技术。该技术利用了流水线负载的计算不变性,引入了持久化算子和共享队列两项技术。这两者的设计思想旨在挖掘新型GPU的硬件缺页机制,代替昂贵的基于软件驱动的显存拷贝和核函数启动。其中,持久化算子用于在GPU上高效执行计算,而共享队列负责实现跨设备的高效数据传递。实验显示相对微批次流水线,连续流水线技术最多可获得2.4～3.1倍的性能提升。综上所述,本文结合新型CPU-GPU平台的特性,从异构加速的数据分析框架、GPU推断执行优化、CPU-GPU流水线执行优化三个角度,阐述了将GPU引入大数据处理场景下面临的种种难题,及其优化策略。本文为实现面向异构硬件平台的高效大数据处理提供了借鉴意义,也为未来的相关研究工作提供一定的参考价值。