在科技服务业领域,构建科技咨询大数据服务平台,需要将跨应用(企业/产业、专利/文献、经济/资讯等)、异来源(网络爬虫、数据库、文件等)的多场景数据进行集成、治理、融合。在围绕该大数据平台建设过程中要解决以下问题:(1)平台需要爬取多个垂直领域的开放网页应用数据,目前的主流爬虫框架存在重复编码、不便管理的问题。(2)对多场景数据进行集成,现有的数据集成工具通用性差,无法统一数据集成流程,且在实时增量同步、数据完整性方面有待提高。(3)数据来源多种多样、质量参差不齐,且在网络、设备、存储等方面具有异构性,在明确数据含义、提升数据质量方面具有挑战性,从而阻碍了数据资产化的进程。为了解决建设科技咨询大数据平台中的上述问题,本论文围绕面向多场景的大数据集成存储与治理展开以下研究:(1)针对多网页应用的可定制爬虫的需求,设计实现了基于Kafka Connect与WebMagic的可定制的分布式网络爬虫子系统;(2)针对大数据下多个场景(网络爬虫、数据库、文件)的数据进行统一集成的需求,设计了面向多场景的统一数据集成子系统;(3)针对大数据下网络、设备、存储上具有异构特性的数据源进行统一治理需求,设计了统一数据治理子系统,实现了对异构数据源的统一接入,统一元数据获取、同步和管理,并实现基于Hive批处理系统的数据清洗和数据融合;此外系统还实现了一种基于图数据库的分类标签管理,对清洗后的数据进行标签关联。通过实验验证,爬虫子系统具有可定制性、易管理性,支持对不同网页应用的数据在无编码的情况下进行爬虫任务的定制和任务管理;数据集成子系统优化了数据集成的流程,具有通用性好、支持增量同步、数据完整性好等优点;数据治理子系统在明确业务含义和提升了数据质量方面有积极作用,促进了数据的资产化。本文实现的系统效果符合预期,具有良好的通用性和可扩展性,对多数据源场景下的大数据平台的构建有一定的借鉴意义。