随着数据量的不断膨胀,传统的数据处理技术,性能上逐渐不能满足需求。为了解决数据增长带来的挑战,逐渐发展出各种各样的数据处理技术,一定程度上提高了数据处理能力,却带来技术孤岛、数据分散、架构复杂、维护困难的问题,导致数据成本越来越高昂。由于云计算技术的蓬勃发展,“万物上云”成为时代常态,不仅普通系统可以借助云的优势,提高整体能力,数据处理技术更能依托云,提高性能降低成本。虽然一些新型数据处理技术,以云原生为基石,结合多种技术手段,融合事务处理和分析计算,提供统一的访问接口,但是由于其还处于发展初期,受限于基础设施、技术发展等多方面因素,短期还不能完全替换传统数据处理技术。通过把传统数据处理技术与云进行结合,提高性能降低成本,是减少数据膨胀挑战、降低系统复杂性、节约数据成本的主要方法之一,但是对于该研究的相关工作并不多。数据处理技术与云融合,通常需要特殊改造,不能泛化,云存储性能不高,传统存储不灵活,整体复杂度较高,导致不能很好利用云的优势。本文为了解决这些问题,提出了一种基于Kubernetes的通用云原生大数据架构:1.基于成熟的云容器编排技术,设计了模块化低耦合的云原生运行环境,提高了数据处理技术上云的效率。2.基于云存储、数据加速中间件、容器存储接口等技术,设计了云存储加速策略,实现了存算分离结构,使云上数据系统具有较强的扩展性、灵活性,提高了数据存储规模,降低了数据成本。3.通过引入新的并行计算策略,规避了传统大规模并行计算的缺陷,提高了整体查询性能,使TPS响应更加稳定。4.通过引入成熟的日志、监控、追踪等技术,设计了大规模云上资源的标准可观测性策略,提高了系统稳健性,降低了维护复杂性。最后在分析型数据处理技术Click House上,验证了本文提出的架构,通过大量的实验从查询性能、TPS响应等方面与原架构进行对比,结果证明在查询性能上有18%～60%的提升,在数据成本上有50%～90%的下降,在数据规模、一致性、可靠性、系统扩展性上优于原架构,在运维复杂度上易于原架构。