随着互联网用户的数据量不断增加和实时性需求的不断增长,基于分布式内存计算的数据处理框架已成为公司数据业务和科学研究的首选工具。由于计算系统的可用内存不断增加,内存数据处理技术能够使用较大容量的内存空间。但是,相对较高的RAM价格会导致内存资源的限制。因此,一个重要的问题是预测何时将哪些数据提取到高速缓存中以减少计算等待时间,并且有效预测数据的访问模式来进行高速缓存管理。本文研究基于目前应用最广泛的Spark内存计算框架。首先,本文设计并实现了一种资源感知的缓存管理方法,改进了当前利用数据依赖应用语义的已有方法,利用组合优化理论和运行时集群的资源使用情况,选择当前最优的缓存替换策略,从而提高内存资源的利用率并减少应用程序的运行时间。其次,本文针对Spark提出快速恢复丢失数据的容错保障机制,通过数据单元特征建立了全面的恢复成本模型,再通过检查点设置策略提高数据任务的恢复效率。最后,通过在Spark源码基础上进行非侵入式的二次开发,动态捕捉应用执行过程中的资源使用情况。同时提供一个可插拔的缓存管理模块,将本文提出的资源感知缓存管理方法接入当前Spark部署,并且开发了一个存储错误生成器,用来测试本课题提出的容错机制恢复计算进程的效率。通过对比实验及对结果分析,证明本课题提出的缓存管理和容错优化策略能够提高大数据分析框架的计算效率。