论文部分内容阅读
大数据时代,数据是原料、技术是工具,应用产生价值才是生存之本。要想竭尽可能地发挥大数据的价值,就必须降低大数据应用构建的成本,缩短试错时间。大数据的外部性使得应用复杂多样,涉及多个业务领域,需要智慧协同多方才能实现数据价值的最大化。而数据竖井和数据碎片化将阻碍大数据价值充分发挥,只有数据的交叉关联才能全方位地洞察客户和市场,才能产生更大价值。本论文源于实习期间在公司所参与项目。系统是专注于大数据领域的PaaS云平台,基于Docker容器技术,为各类开发者提供云端大数据应用构建、交付和运维服务,并提供应用生命周期全流程、标准化的持续集成、镜像构建、持续交付和自动运维服务。作者主要是负责系统的后端模块开发、外接第三方服务的ServiceBroker以及交叉编译,但从项目最初的需求分析到项目上线之前的测试都有作者的参与。工作内容具体如下:(1)需求分析,通过咨询合作伙伴与同事初步确定了系统的核心需求,包括平台要提供的服务与应用、用户管理、资源管理等功能性需求以及负载均衡、跨平台使用等非功能性需求,同时将所有需求都认真记录。(2)概要设计,根据需求分析的结果,划分了代码构建、服务部署、用户管理、资源管理等模块及其子模块,建立了系统的逻辑模型,初步确立了各个模块所需要的实现方法,为之后的详细设计打好了基础。(3)详细设计和实现,结合之前阶段的结果,对各个模块进行了详细的设计,之后对各个模块进行了代码实现以及技术实现,保证各个模块的功能效果都达到预定目标,通过交叉编译实现系统的跨平台使用。(4)平台测试和验证,通过对系统核心功能及负载均衡的测试,验证系统能否满足项目初期制定的各项需求。项目目前已完成部署上线,对于平台提供方来说,可以最大程度将平台拥有的数据资源和大数据能力发挥出价值,并保证数据的安全性和完整性。对于应用开发方来说,可以快速构建大数据应用,方便地跨云迁移,降低边际成本。对于大数据能力提供方来说,可以更加专注于能力提供和服务质量保障,避免低水平简单重复劳动。综合考察已满足项目预定目标,之后只需要针对具体的应用需求来丰富平台的服务与产品。