随着企业业务线的不断扩张,各个事业部以及产品线之间的数据共享变为问题,导致企业的数据过于分散和冗余,各个部门之间的数据互联与合作变得尤为困难,同时由于业务的扩大,各个事业部产品的用户数据变得非常庞大,使得其对各个产品原本孤立存储的数据资源进行整合汇总并且通过数据分析给用户提供更优质的产品服务与体验愿望逐渐提高,同时也为了解决企业各个事业部重复研发造成资源浪费、资源利用率低下等问题,公司大数据部门研发了集数据导入、数据管理、数据开发、任务调度等于一体的一站式大数据智能云研发平台。本文介绍了数据开发平台的发展现状、一站式数据开发平台对于企业的重要意义、平台开发中使用的相关技术、平台的整体架构设计以及各个子模块系统的实现细节。本平台在数据集成模块底层采用开源数据同步框架DataX,实现异构数据源的数据同步,使得数据同步任务变得简单可控。数据开发模块使用Airflow调度框架,来实现对不同数据开发任务的任务调度,数据查询模块以及数据开发模块的编辑器功能是基于Monaco Editor开源库,用于实现SQL、Python、Hive脚本任务编写的功能。同时数据开发模块基于Jointjs实现以DAG的形式链接上下游脚本任务,使得开发任务更加直观.本人主要参与一站式大数据智能云研发平台中数据集成、数据开发、数据查询、数据管理相关功能的前端开发以及数据集成模块的后端开发工作。本平台是一站式的大数据开发解决方案,解决了异构数据源之间的数据同步与集成、数据开发任务的任务调度、Web形式的编辑器功能、DAG形式的任务关联等问题.一站式大数据智能云研发平台的1.0版本已经发布,满足了公司大数据部门的基本需求,但是为了更好的提供数据开发能力,真正的解决公司各个事业部以及产品线在数据共享上的难题,本平台依旧在通过敏捷开发的方式不断迭代完善中。