基于分布式架构的数据中台系统的设计与实现

被引量 : 0次 | 上传用户:shaoyuqi521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着企业和政府业务范围的扩大,其拥有的数据量也呈指数增长,当数据达到一定的规模,如何管理这些庞大且杂乱的数据,发挥数据的价值、提高服务质量、降低运营成本,从而快速响应用户需求,成为必须思考的问题。同时,目前很多大型企业都设计了一套契合自身组织架构和业务特点的中台系统,正因为与业务的高度耦合,同样的模式无法移植到其他企业或组织,因此并不具有通用性。为了提高对多源异构数据的管理效率,解决传统的烟囱式业务模式中,各业务系统数据标准不统一、数据来源多样且异构、数据质量差等问题,进而通过数据服务反馈业务,实现数据价值,本论文借助于前沿的数据治理思想和优秀的微服务架构技术设计并实现了一个数据中台系统。本系统分为五个功能模块:数据汇集、数据资产、数据质量、数据安全、数据服务。多源异构数据通过数据汇集模块进入系统,通过数据服务模块输出高质量数据,数据质量和数据安全模块保证了输出数据的质量以及数据在各个环节的安全性,数据资产模块则是通过管理和分析数据辅助用户决策。为了保证系统的扩展性、性能,以及开发效率,系统采用前后端分离架构,直接面向用户的视图层采用Vue框架实现,服务端则采用Spring Cloud搭建整体框架,并使用Spring Boot实现具体的微服务,数据库层使用Mysql和Redis,实现过程中采用了Spring Cloud生态中的一些优秀的开源组件如Feign、Hystrix等来完善系统,同时使用了Docker容器技术完成项目部署。本系统实现的数据中台通用性较高,不与业务强关联,适合有数据治理相关需求的企业或政府部门。经过严格测试,系统在数据的汇集、管理、服务、安全等多方面以及系统性能方面都满足了用户需求。
其他文献
引入城市能源服务中心(urban energy service center, UESC)作为供能和价格引导枢纽,构建了含典型功能的城市多能微网系统集群结构及其阶梯式碳交易机制模型。提出了一种城市多能系统双层优化调度策略,其上层为最小化UESC的运营成本,下层考虑城市多功能区域集群间的能量互济,采用交替方向乘子法求解综合能源系统(integrated energy system, IES)集群的分
期刊
以对康略高速公路康县东服务区设计为例,对交旅融合背景下共享开放式服务区的规划特点及设计方法进行分析,从设计定位、总体布局、业态布设等方面,对共享开放式服务区的设计进行初探。
期刊
网络犯罪经历网络对象型犯罪、网络利用型犯罪、网络智能型犯罪三个不同阶段,并呈现出不同的代际特征。传统刑法规范在应对网络犯罪时显示“窘迫”,“力有不逮”,积极刑法又导致网络刑法犯罪化、重刑化。积极刑法与“尊重和保障人权”的宪法宗旨“貌合神离”,并与传统刑法最后保障法的定位渐行渐远。网络犯罪刑事治理应当注重技术与法律相互支撑、良性互动、深度融合,注重刑事规范的明确性、系统性和罪刑均衡,注重象征性刑法限
期刊
本文从分析刑事合规背景下单位犯罪治理价值与治理现状入手,发现企业合规不起诉价值主要体现在企业内部和外部激励两个层面,在促进企业有序发展的同时,亦能提高检察机关执法力度与执法效率,犯罪治理价值显著,但是在单位犯罪治理中仍然存在诸多困境。鉴于此,在今后工作中,相关部门应该基于刑事合规背景,基于单位犯罪治理现状,给出针对性的完善建议。
期刊
<正>刑事诉讼管辖不仅关系着刑事追究活动是否能够高效顺利开展和办案资源是否可以合理分配,而且是确保司法免受外界干扰的关键制度。原则上,犯罪地是确定地域管辖的首要连接点。然而,信息网络技术的不断发展使得犯罪的涉众性、跨域性、多层级链条式特征远非传统犯罪可比拟,犯罪地的数量在网络空间下从行为方式、阶段、参与人数、结果等多个维度发生了耦合式增加,
期刊
殷商卜辞是对占卜仪式的记录,它们通常只是作为一种伴随文本,与特定的占卜材料结合,才能对仪式过程给予相对完整的呈现。商王在仪式中的角色优势,也借此得以延伸到仪式之外。文本的写作主体,本就是带着同样的意图而造就了这些文本,并最终将之提供给那些曾亲历仪式的特殊受众,期待他们能在仪式结束之后,依然加深对商王权力身份的认同。只有少数结构完整的长篇卜辞,可以摆脱占卜材料的制约,且无需具备任何仪式记忆,就能被有
期刊
<正>新冠肺炎疫情发生以来,全国检察机关经济犯罪检察部门认真贯彻党中央和最高人民检察院党组的部署要求,强化政治责任,充分履行检察职能,主动担当作为,加强协作配合,依法从严惩处了一批严重妨害疫情防控的经济犯罪,及时向社会公布典型案例,加强以案释法,有力震慑了犯罪分子,维护了医疗秩序、防疫秩序、市场秩序、社会秩序,为疫情防控阻击战的最终胜利提供了有力司法保障。
期刊
我国关于网络犯罪管辖的法律规定整体上较为粗疏简略,对主要犯罪地的判断标准、协商管辖及指定管辖的具体程序、并案管辖机关的确定原则均语焉不详。这些规定存在既相互重合又相互抵触的弊端,难以为司法实践提供统一明确的指导,已经成为制约我国治理网络犯罪效果的一大瓶颈。现有规定赋予了公安机关处理网络犯罪竞合管辖及牵连管辖问题的行政裁量权力,但既有的外部制约机制尚不完善,导致指定管辖泛滥、争夺管辖权现象频发,管辖
期刊
小儿苏黄止咳糖浆以麻黄、黄芩、陈皮、浙贝母、紫苏叶等饮片为原料,依据经典著作《伤寒论》中的“麻杏石甘汤”通过加减得到的,通过研究提取、浓缩、精制成型等工艺制成单支型糖浆剂,符合人们追求便捷的现代生活理念。本课题的研究内容主要分为四个部分,第一部分主要进行文献概述,通过对小儿苏黄止咳糖浆的处方进行基础分析,为本研究提供充分的理论依据;第二部分通过提取处方中单味药陈皮的挥发油,将其制成陈皮油微乳,扩大
学位
<正>“面对新冠疫情,我们立足政法职能,紧密关注企业发展,加大统筹调度力度,深入开展企业合规工作。涉案企业通过合规整改,经济效益明显提升。”前不久,贵州省石阡县委常委、政法委书记符前江总结该县开展企业合规试点工作情况时说。石阡县以发展温泉旅游业、茶产业、果蔬以及食用菌为主,有旅游开发重点企业近30家,食用菌、果蔬、经济作物种植重点企业70余家,农副产品加工重点企业10余家,是农旅融合发展潜力县。
期刊