论文部分内容阅读
针对校园各物联网应用系统处理海量数据的性能差、数据的存储和运维成本高以及设备扩容升级困难等问题,设计了一种基于Hadoop的数据处理系统,为构建校园云数据中心、实现校园的智慧化服务提供有益的参考方案.文件处理模块针对海量结构化小文件的处理需求提出改进方案,对比实验表明该方案在降低集群主节点的内存消耗和提高小文件访问效率方面优于现有方案.