论文部分内容阅读
与诸多优秀成熟的数据分析软件相比，数据采集与处理软件还远远没有形成规模。数据是数据分析处理的基础，没有高质量的数据，即使再优秀的分析软件也不能得出准确科学的分析结果。本文从保证数据质量和提高采集效率原则出发，对数据采集与处理的一些共性问题展开分析，通过对关键业务归纳和抽象，得到解决这些问题的业务方法和软件架构模型。
这些模型主要包括：高并发数据采集模型、可扩展单机采集模型、负载均衡数据审核模型、界面与实现分离模型、元数据存储模型、数据传输模型、审核公式处理模型等。它们在大范围、多层次、多系统的数据采集环境中有很好的实用价值。