传统互联网模式中,企业所需求的计算和存储资源需要提前进行预估。不同企业业务规模大小不同,对资源需求量也存在较大差别。同时,企业都会储备一定额外的资源,用于高峰期可能发生的业务增长,但这些资源往往无法得到充分的利用,增加了企业的隐形成本。云计算时代,随着云存储技术的出现,资源利用率得到了极大的提升。本文基于用户空间文件系统FUSE,使用HDFS作为底层存储方式,提出了一种新的云数据访问与存储方案,并对其进行了一系列优化,主要包括:1)针对云存储系统中大规模数据并发访问的问题,设计了一种新的负载均衡算法,该算法根据后端服务器集群中节点的CPU、内存、磁盘资源占用等指标来计算其负载程度,同时将其实时反馈给调度器,调度器随后对该节点的权值进行动态调整,以实现服务器资源的高效利用。2)针对FUSE访问HDFS存在性能瓶颈问题,本文通过分析FUSE源代码,结合Linux文件读写过程,分别从减少CPU上下文切换时间、采用直接I/O代替缓存I/O、开启部分元数据缓存三个角度对云存储方案的读写性能进行优化。实验表明,提出的优化方案带来了约20%的性能提升。3)为了提升云存储方案安全性,本文基于文件属性,实现了细粒度的文件访问控制机制。系列实验结果表明,优化以后的方案,从性能、可用性和安全性方面来看都有更好的表现。除了对已有方案进行优化外,基于优化后的方案,本文还实现了一个完整的云存储系统,并应用于大数据分析平台中,处理日均数百TB级别数据的访问和存储。总体上看,本文所提出的方案,在实际应用过程中,充分解决了业务方在数据存储方面的痛点。同时,也适用于各种不同的应用场景。