对于大数据处理平台而言,存储系统的设计对提高其性能至关重要。尽管研究人员已经提出了众多优化办法,但现有优化方法均根据系统设置,静态的为计算分配资源、对存储进行管理,忽视了不同工作负载的特征和动态的内存需求,且现有的优化策略未考虑从系统架构当中获取相应的任务调度信息,导致一些优化机会的丧失。针对以上问题,本文提出了一种嵌入数据分析技术的存储优化设计,可全自动的动态优化系统效能。论文的主要工作包括以下三个方面:1.基于工作负载动态的为计算和缓存分配资源。针对系统特征和负载会随时间改变的特性,我们提出对系统进程和设置参数等信息进行侦测,以实时获取系统状态和工作负载。针对相应的系统行为记录,使用数据分析/数据挖掘手段进行分析,结合决策树算法C5.0进行决策.实现对存储系统的动态优化的框架。该框架应用到现有的系统架构上面去,会通过内核获取相应的系统行为进行分析,而不需要更改或重新编译程序源码。2.结合相关性分析和数据挖掘算法,可以对系统行为、系统设置参数以及系统性能指标之间的相关性进行分析,选取关系密切的指标进行追踪和分析.以减少系统效能消耗。3.将提出的SDAF框架应用在缓存系统上,通过监控当前的访存行为,动态的控制相应的替换算法,实现了全自动的自适应系统优化。为了验证提出的想法的可行性,我们选择Hadoop大数据处理平台的缓存管理设计作为实验背景,实验验证了其有效性,说明了我们提出的大数据处理平台的存储优化设计的可行性。