论文部分内容阅读
对于在ASX上市的保险集团IAG而言，采用开源软件和开源方法进行开发和创新将在其未来发展中扮演越来越重要的角色。
IAG最近转向开源OpenStack云平台，帮助整合了20多个数据仓库，这一过程节省了数百万美元的成本。
该公司在澳大利亚、新西兰、泰国、越南和印度尼西亚都有业务，前段时间开展了一个宏伟的项目，旨在整合其核心保单和索赔平台，把32个系统迁移到两个系统中。
据该公司的数据工程和数据运营负责人Eddie Satterly讲，在OpenStack推出之前，IAG自2000年成立之后，经过一系列的收购，造成了这一跨国保险公司有23种不同数据仓库的局面，而且这些数据仓库采用了10种不同的技术。
Satterly说：“一些仓库是建立在IBM技术之上的，有些是Oracle，有些是Informix，有些则是MS SQL。”
情况“非常复杂”，需要加以简化，以确保该保险公司能够很好的使用其庞大的数据量。做出的决定是采用开源技术，着眼于利用社群驱动的创新，而不是通过商业软件供应商或者完全自己去开发所有的一切。
Satterly说：“在此基础上，我们开始研究他们有什么，有什么样的资产，经过验证的工作负载是什么，我们想要迁移的工作负载的基本情况怎样——包括一些开源工具，例如，Apache Kafka、Solr和Cassandra，以及Apache Storm，等等。”
他还补充道：“数据和分析部门希望有一半平台使用大量的开源产品，另一半真的是围绕传统的数据仓库，使用现有的在用Greenplum环境。”
IAG测试比较了几个不同平台的性能，以支持数据仓库的整合，包括SAN和vSAN支持的SAN、VMware环境中的直接计算，还采用了两种不同版本的OpenStack：HP Enterprise的Helion和RedHat的OpenStack发行版。
Satterly说：“我们在所有环境中对工作负载进行了实际测试，以发现哪些最适合我们，在数据移动的所有过程中，哪些最擅长处理我们非常高的IO工作负载。”
新的私有云是基于Red Hat OpenStack平台，由Dell R730xd机架服务器和EMC ScaleIO提供支持。Satterly说，这一设置为IAG的数据工作负载提供了“极好的性能”。
这一举措在财务上也得到了回报：上一财年，IAG通过把数据工作负载迁移到OpenStack，硬件和软件成本降低了270万美元。
Satterly说：“我们能够取消一个价值100万美元的SAN，转而采用一个价值2万美元的超融合节点。最初是一个双机架系统——而我们现在有6个机架，我们已经把大部分数据工作负载迁移到了它上面，还迁移了一些对于处理工作非常重要的核心工作负载。”
该公司已经整合到了11个数据仓库，最终目标只有3个。IAG还缩短了部署时间，该公司最近将交付新数据服务的时间从3个月减少到5天。
IAG最初于2016年6月开始使用Helion测试OpenStack。Satterly说：“大概在10月份左右开始使用Red Hat套件。”今年1月，该保险公司采用OpenStack开始了现场工作。
他说：“这是一个为期半年的试用过程，采用了不同的配置，不同的工作负载，以及不同的后端存储，真的是要找到最终指标，使我们更加敏捷，能够快速开发新东西，测试新东西，实现的IO能够满足在我们环境中经常要移动40到80TB数据的要求。”
OpenStack环境被用作IAG原型，采用了一系列新技术进行开发，包括利用Solr和Cassandra为客户提供单一视图。
Satterly说：“这样，我们能够开发新应用，尝试新东西，现在，我们可以在IAG内部开发一些开源技术，并在外部共享这些技术。”
不久前，IAG开源了数据管道：一款基于Python的应用程序，能够把数据从源数据库复制到目标数据库，以帮助实现数据的实时分析，同时对原始数据库的影响最小。
一些保险相关的核心工具现在运行在IAG的OpenStack上，该公司有可能将其核心索赔平台的部分工作迁移到该平台上。Satterly说，不过，该保险公司采取了谨慎的态度。
他说：“在这方面，我们肯定要努力进行测试，看看他们是否能做到这一点，至少从产品准备投产前开始，直到最终的生产。”
Satterly补充说，使用OpenStack是打造“開源文化”大量工作中的一部分。在首席客户官Julie Batch的领导下，目前已经在IAG客户实验室展开了这项工作，开发一种“内部源”方法，基于新兴的开源功能快速进行原型设计，然后，在其上进行开发，最后再回到开源项目上。
IAG最近转向开源OpenStack云平台，帮助整合了20多个数据仓库，这一过程节省了数百万美元的成本。
该公司在澳大利亚、新西兰、泰国、越南和印度尼西亚都有业务，前段时间开展了一个宏伟的项目，旨在整合其核心保单和索赔平台，把32个系统迁移到两个系统中。
据该公司的数据工程和数据运营负责人Eddie Satterly讲，在OpenStack推出之前，IAG自2000年成立之后，经过一系列的收购，造成了这一跨国保险公司有23种不同数据仓库的局面，而且这些数据仓库采用了10种不同的技术。
Satterly说：“一些仓库是建立在IBM技术之上的，有些是Oracle，有些是Informix，有些则是MS SQL。”
情况“非常复杂”，需要加以简化，以确保该保险公司能够很好的使用其庞大的数据量。做出的决定是采用开源技术，着眼于利用社群驱动的创新，而不是通过商业软件供应商或者完全自己去开发所有的一切。
Satterly说：“在此基础上，我们开始研究他们有什么，有什么样的资产，经过验证的工作负载是什么，我们想要迁移的工作负载的基本情况怎样——包括一些开源工具，例如，Apache Kafka、Solr和Cassandra，以及Apache Storm，等等。”
他还补充道：“数据和分析部门希望有一半平台使用大量的开源产品，另一半真的是围绕传统的数据仓库，使用现有的在用Greenplum环境。”
IAG测试比较了几个不同平台的性能，以支持数据仓库的整合，包括SAN和vSAN支持的SAN、VMware环境中的直接计算，还采用了两种不同版本的OpenStack：HP Enterprise的Helion和RedHat的OpenStack发行版。
Satterly说：“我们在所有环境中对工作负载进行了实际测试，以发现哪些最适合我们，在数据移动的所有过程中，哪些最擅长处理我们非常高的IO工作负载。”
新的私有云是基于Red Hat OpenStack平台，由Dell R730xd机架服务器和EMC ScaleIO提供支持。Satterly说，这一设置为IAG的数据工作负载提供了“极好的性能”。
这一举措在财务上也得到了回报：上一财年，IAG通过把数据工作负载迁移到OpenStack，硬件和软件成本降低了270万美元。
Satterly说：“我们能够取消一个价值100万美元的SAN，转而采用一个价值2万美元的超融合节点。最初是一个双机架系统——而我们现在有6个机架，我们已经把大部分数据工作负载迁移到了它上面，还迁移了一些对于处理工作非常重要的核心工作负载。”
该公司已经整合到了11个数据仓库，最终目标只有3个。IAG还缩短了部署时间，该公司最近将交付新数据服务的时间从3个月减少到5天。
IAG最初于2016年6月开始使用Helion测试OpenStack。Satterly说：“大概在10月份左右开始使用Red Hat套件。”今年1月，该保险公司采用OpenStack开始了现场工作。
他说：“这是一个为期半年的试用过程，采用了不同的配置，不同的工作负载，以及不同的后端存储，真的是要找到最终指标，使我们更加敏捷，能够快速开发新东西，测试新东西，实现的IO能够满足在我们环境中经常要移动40到80TB数据的要求。”
OpenStack环境被用作IAG原型，采用了一系列新技术进行开发，包括利用Solr和Cassandra为客户提供单一视图。
Satterly说：“这样，我们能够开发新应用，尝试新东西，现在，我们可以在IAG内部开发一些开源技术，并在外部共享这些技术。”
不久前，IAG开源了数据管道：一款基于Python的应用程序，能够把数据从源数据库复制到目标数据库，以帮助实现数据的实时分析，同时对原始数据库的影响最小。
一些保险相关的核心工具现在运行在IAG的OpenStack上，该公司有可能将其核心索赔平台的部分工作迁移到该平台上。Satterly说，不过，该保险公司采取了谨慎的态度。
他说：“在这方面，我们肯定要努力进行测试，看看他们是否能做到这一点，至少从产品准备投产前开始，直到最终的生产。”
Satterly补充说，使用OpenStack是打造“開源文化”大量工作中的一部分。在首席客户官Julie Batch的领导下，目前已经在IAG客户实验室展开了这项工作，开发一种“内部源”方法，基于新兴的开源功能快速进行原型设计，然后，在其上进行开发，最后再回到开源项目上。