论文部分内容阅读
SMS BigData Solution(SBS)(SBS)是安图特为应对大数据时代而推出的数据处理解决方案。它集成了图形开发界面,配合数据处理加速算法,为客户处理海量数据提供高效解决方案。SBS可支持复杂的系统环境,适应结构化和非结构化数据,处理来自各个业务部门的不同数据需求,为企业突破数据瓶颈,不断提升商业价值提供深度支持。
SBS解决方案的组成
数据质量(Data Quality)管理组件
这是一套集成式的数据质量管理组件,可提供全面的端对端的数据质量生命周期管理。该组件可支持数据质量流程整合到任何系统中,这种可扩展、高灵活性的架构将帮助客户提升数据质量,降低开发成本,轻松应对大数据时代的挑战。
数据漂白(Data Masking)解决方案组件
SBS 数据漂白解决方案利用成熟脱密算法对敏感数据进行漂白,可通过参数对数据源和目标库进行灵活配置,漂白过程全程可控,漂白结果可查询。该方案既可确保客户数据信息的安全,又可节省数据处理的大量资源和时间。
基于多种平台的ETL(Extract、Transform、Load)解决方案组件
SBS ETL解决方案有两个组成部分,一个是直接安装在服务器上的服务端,另一个是安装在Windows平台上的图形客户端,特别适合*nix与Windows平台共存的网络环境。
在客户端图形界面上,可以创建数据加工任务和作业,并可在本地或远地(服务器端)生成数据加工作业的运行脚本。作业可以由客户端直接调用,也可以在服务端加载客户现有的作业流中进行统一调用。
SBS解决方案的优势
SBS 强大的数据整合优势
SBS 高性能优势
在处理海量数据过程中,企业越来越多地遇到数据存储空间激增、数据处理服务器资源瓶颈等问题,SBS通过引入高性能低消耗的数据加速工具与加速算法,为客户节省数据处理服务器的CPU与物理内存使用率,同时在数据存储方面,采用独特的中间数据不落地模式,节省了存储空间的占用率。
SBS 敏捷开发优势
敏捷开发往往是决定一个项目快速迭代的重要因素。SBS引入简单易操作的图形化界面,让开发逻辑更简单,开发过程更直观,从而缩短海量数据处理程序的开发周期与开发成本。同时也能够帮助客户开发出更高质量、更易维护的应用程序,提升企业核心竞争力。
SBS在Hadoop中的应用
平台接口
SBS提供Hadoop平台接口,能够更加高效地应用于Hadoop。
平台迁移
SBS的最新平台已经自然集成到Hadoop数据管道中,并提供互操作性和可扩展性。无缝的Hadoop集成确保安全和监控,改进元数据管理并且跟踪数据沿袭。
程序代码移植(SILQ)
通过SBS解决方案中的SILQ模块,可以轻松解决数据库应用程序代码的移植(如PL/SQL),使得原先一整套传统应用能够非常便捷地移植到SBS架构中。
平台多样性
成功案例:某游戏运营商使用SBS高效处理海量数据
在网络游戏中,短时间内就会产生海量数据,给运营商的数据处理能力带来巨大压力。海量数据处理都将占用大量的宝贵时间。由于此项目需要从传统数据中心迁移至Hadoop上,安图特为该客户引入SBS产品,以满足高效处理数据的需求。
SBS方案配置灵活,可以与客户现有的体系架构完美对接
SBS支持多种类型的数据引用和输入输出源,便于与客户现有的数据库进行整合,可以高效完成数据加工并获取各种类型的目标数据,从而大幅度推进整体部署和实施进度。
SBS使开发周期大大缩短
SBS具有强大的图形操作界面,使得数据处理过程中每一步都能得到直观的展现,便于开发人员缩短开发周期。同时,图形化和流程化的界面也让后期维护操作变得更为容易,节省了维护成本。
SBS自身的运行维护简单而灵活
SBS采用一个作业包含多个任务的灵活架构,既可以运行整个作业也可以运行单个任务,使得维护工作更为细化,便于问题的定位和微调,还可以进行任务中断后的拆分执行,维护起来既简单又灵活。
SBS降低项目成本投入
SBS具有先进的资源管理功能,仅占用极少的CPU和内存,从而节约了大量系统开销与硬件投入,可有效降低项目的整体成本。
SBS解决方案的组成
数据质量(Data Quality)管理组件
这是一套集成式的数据质量管理组件,可提供全面的端对端的数据质量生命周期管理。该组件可支持数据质量流程整合到任何系统中,这种可扩展、高灵活性的架构将帮助客户提升数据质量,降低开发成本,轻松应对大数据时代的挑战。
数据漂白(Data Masking)解决方案组件
SBS 数据漂白解决方案利用成熟脱密算法对敏感数据进行漂白,可通过参数对数据源和目标库进行灵活配置,漂白过程全程可控,漂白结果可查询。该方案既可确保客户数据信息的安全,又可节省数据处理的大量资源和时间。
基于多种平台的ETL(Extract、Transform、Load)解决方案组件
SBS ETL解决方案有两个组成部分,一个是直接安装在服务器上的服务端,另一个是安装在Windows平台上的图形客户端,特别适合*nix与Windows平台共存的网络环境。
在客户端图形界面上,可以创建数据加工任务和作业,并可在本地或远地(服务器端)生成数据加工作业的运行脚本。作业可以由客户端直接调用,也可以在服务端加载客户现有的作业流中进行统一调用。
SBS解决方案的优势
SBS 强大的数据整合优势
SBS 高性能优势
在处理海量数据过程中,企业越来越多地遇到数据存储空间激增、数据处理服务器资源瓶颈等问题,SBS通过引入高性能低消耗的数据加速工具与加速算法,为客户节省数据处理服务器的CPU与物理内存使用率,同时在数据存储方面,采用独特的中间数据不落地模式,节省了存储空间的占用率。
SBS 敏捷开发优势
敏捷开发往往是决定一个项目快速迭代的重要因素。SBS引入简单易操作的图形化界面,让开发逻辑更简单,开发过程更直观,从而缩短海量数据处理程序的开发周期与开发成本。同时也能够帮助客户开发出更高质量、更易维护的应用程序,提升企业核心竞争力。
SBS在Hadoop中的应用
平台接口
SBS提供Hadoop平台接口,能够更加高效地应用于Hadoop。
平台迁移
SBS的最新平台已经自然集成到Hadoop数据管道中,并提供互操作性和可扩展性。无缝的Hadoop集成确保安全和监控,改进元数据管理并且跟踪数据沿袭。
程序代码移植(SILQ)
通过SBS解决方案中的SILQ模块,可以轻松解决数据库应用程序代码的移植(如PL/SQL),使得原先一整套传统应用能够非常便捷地移植到SBS架构中。
平台多样性
成功案例:某游戏运营商使用SBS高效处理海量数据
在网络游戏中,短时间内就会产生海量数据,给运营商的数据处理能力带来巨大压力。海量数据处理都将占用大量的宝贵时间。由于此项目需要从传统数据中心迁移至Hadoop上,安图特为该客户引入SBS产品,以满足高效处理数据的需求。
SBS方案配置灵活,可以与客户现有的体系架构完美对接
SBS支持多种类型的数据引用和输入输出源,便于与客户现有的数据库进行整合,可以高效完成数据加工并获取各种类型的目标数据,从而大幅度推进整体部署和实施进度。
SBS使开发周期大大缩短
SBS具有强大的图形操作界面,使得数据处理过程中每一步都能得到直观的展现,便于开发人员缩短开发周期。同时,图形化和流程化的界面也让后期维护操作变得更为容易,节省了维护成本。
SBS自身的运行维护简单而灵活
SBS采用一个作业包含多个任务的灵活架构,既可以运行整个作业也可以运行单个任务,使得维护工作更为细化,便于问题的定位和微调,还可以进行任务中断后的拆分执行,维护起来既简单又灵活。
SBS降低项目成本投入
SBS具有先进的资源管理功能,仅占用极少的CPU和内存,从而节约了大量系统开销与硬件投入,可有效降低项目的整体成本。