目前，异构体系结构是构建大规模并行计算系统的重要手段。使用GPU加速卡来构建异构系统成为一种主流的方式。而不论从应用的角度，还是从体系结构的角度看，如何充分有效的利用异构计算机系统实施并行都是一个有挑战的工作。在本文中，我们以两个不同类型的应用为例，说明了如何在异构系统上优化应用程序。　　 冷冻电镜三维重构是我们选择的一个例子，作为研究蛋白质分子结构的重要工具，该算法是一个计算量达Petaflops的应用。我们仔细的分析了它整个工作流程中的瓶颈，挖掘了三维重构算法中可能被利用的并行性，并提出了一种自适应的动态任务调度方法来在应用与结构之间有效的实施并行映射。实验结果表明，在异构系统上，这种多层次的并行实施是一种能够充分利用CPU和GPU各自的计算能力的高效工作方式。　　 我们选取的另一个应用是双精度矩阵乘法(DGEMM)，以其为代表的稠密矩阵的运算是科学和工程领域的重要问题。这种应用在CPU-GPU异构系统上实现时，不同存储层次之间的数据传输成为影响整个DGEMM性能的关键。在矩阵规模较大的条件下，我们通过逐渐增加一些优化方法，总结出了一种新的流水线优化算法，并且也实施了CPU和GPU-之间有效的数据传输策略。和AMD公司提供的ACML-GPU相比，我们的优化程序获得了约2倍的加速比。　　 本文中我们提出了针对此类计算密集型应用的一些通用优化手段，同时，也针对这些应用的具体特点，在不同的硬件平台上给出了相应的一些优化技巧，可以给其他的应用开发者提供一定的帮助建议。