论文部分内容阅读
开发者对敏捷这个词已经司空见惯。那么，什么是敏捷数据分析，什么又是敏捷BI？在敏捷思维盛行的时代，需要人们跟上步伐，转换思维方式。
想必大家都听说过敏捷开发，敏捷开发是以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。随着敏捷概念的深入人心，数据分析方法论也发生了革新，敏捷数据分析逐渐进入主流。本文将简要介绍到底何为敏捷数据分析。
传统VS敏捷
我们先来看一下传统的数据分析流程：解读业务战略目标——确定目标分解的量化KPI——确定KPI的计算公式和所需字段——确定所需字段来自于哪些数据库的哪些表——数据建模——预先汇总成二次表和Cube——结果展示。由于需要建模和打Cube，这一流程通常需数月才能完成。
现在，取代传统数据分析流程的，是快速迭代式分析。敏捷数据分析不必在开始时花很长的时间构思大而全的分析指标体系，而是低成本快速迭代，几分钟就做好一个当前想要分析的结果，通过敏捷数据分析工具实现动态切换视角，灵活展示数据，日积月累，指标自然越来越丰富，计算公式也越来越符合业务逻辑，这时再将其体系化。
为什么传统数据分析无法实现快速迭代分析的高效？因为在过去，大数据海量数据的计算能力达不到要求，所以我们才需要IT人员通过建模等方式提前把数据计算汇总好，随着大数据的技术相对来讲都日趋成熟和完善，分布式计算、内存计算、列存储等比较成熟的技术架构，采用这种新的办法去处理数据的性能，已经比以前提升了几十倍甚至更高。
透视BI市场
事实上，敏捷数据分析行业作为新兴行业，直到近两年才进入成熟期。美国独立咨询公司Gartner魔力象限2006年公布的BI（商业智能）魔力矩阵中，标榜为领导者区域的第一象限还看不到一家敏捷BI厂商，都是大家熟知的传统BI，例如IBM Cognos、SAP Business Objects等。直到2012年，第一象限中出现了第一家敏捷BI厂商QlikTech。2014年则是敏捷BI行业的转折点，第一象限有了3家敏捷BI厂商，数量上占据近半江山。敏捷型BI由此成熟，摇身成为主流BI系统。
通过今年最新的Gartner魔力象限报告，我们看到的BI国际市场的情况是，BI在成熟市场的年均复合增长率为9%。其中， Qlik、Splunk等敏捷BI厂商得到了市场的认同，用他们的产品去替换现有平台的案例越来越多，尤其中小企业（也包括部门级应用），SAP、SAS和IBM等老牌BI厂商对客户需求的支持最全，拥有很大客户群体。但他们的产品在企业级监控、管理、扩展性等方面还有欠缺，越来越多企业倾向于部署敏捷BI，因此用户基数很大的传统BI厂家正在被逐渐边缘化。而微软、微策略、甲骨文等厂商在产品愿景方面的完整性不错，但正被管理、执行方面的挑战所阻碍。目前这些厂商也正在推出新的功能应对敏捷BI厂商（例如SAP Lumira和IBM Watson Analytics）。
正如Gartner所总结的， BI市场正在发生基础性的变革。“当前的BI市场状况看起来像上世纪80年代晚期的主机/工作站市场，那时的客户和需求也正在彻底转变。这些转变驱使HP对计算平台的战略和架构进行了彻底的再思考和再设计。最终，这场转变让DEC消亡，因为他的行动实在是太慢了。类似地，今天的BI巨头也站在十字路口中间。” 2005年将可能是关键的一年，决定谁是这场变革的最终赢家。
在中国，敏捷BI起步较晚，包括永洪BI在内的公司逐渐推出不同的数据可视化分析产品。相比国外同行以渠道商为主的市场策略，本土公司的特点是，可以提供本地技术支持，且产品考虑到中国客户制作多表头复杂式报表的需求。目前，国外敏捷BI企业已加大进入中国的步伐，相信在越来越多参与者的进入下，敏捷数据分析将更加普及，为越来越多的中国企业提供更完善快捷的数据可视化分析解决方案。
敏捷开发的原则
敏捷开发过程的12条基本原则中有6条原则可以用来描述敏捷BI。优先级最高的是通过尽早的、持续的交付有价值的商业智能软件来使客户满意。即使到了开发的后期，也欢迎改变需求，敏捷过程利用变化来为客户创造竞争优势。在整个项目开发期间，业务人员和开发人员必须每天在一起工作。
敏捷BI对拥有大数据的企业，如咨询研究机构、互联网营销机构、舆情/商情分析机构、精准营销机构，以及各行业的传统企业，无论是内部使用数据，还是对外提供数据服务，都有了更加敏捷高效的方法。
拥有小数据的企业或部门，在做市场分析、财务分析、销售分析、客户分析时，不用再用复杂的系统工具进行数据挖掘，分析的门槛极大降低，这意味着原来由于成本、实施周期、复杂度等门槛而被BI厂商排拒的广大中小企業，可以通过敏捷BI真正开始数据挖掘之旅。
敏捷BI正在给各行各业带来变革，行业应用提供商可以快速嵌入敏捷BI工具来为客户提供更多增值服务。对于实施商而言，BI的项目风险极大降低，项目周期极大缩短，“短平快”地出结果。
符合迭代思维
说了这么多，快速迭代式的敏捷数据分析方法有什么好处？
首先，这种分析方法十分符合互联网思维中的迭代思维。企业的分析指标不可能一开始想得非常全面，本身就是逐步迭代形成的。以电商行业为例，电子商务的数据可分为两类：前端行为数据和后端商业数据。前端行为数据指访问量、浏览量、点击量和站内搜索等反映用户行为的数据；而后端数据更侧重商业数据，比如交易量、投资回报率，以及全生命周期管理等。
在最初期，电商行业最关注的是那些核心指标：UV、转化率、客单价、毛利率、推广ROI、重复购买率，人们在核心指标的基础上逐步对媒体、用户、商品、营销等对象做详细分析；同时对客服、商品、仓储物流等内部运营绩效方面进行监控。这些数据现在又可以被归纳发展为4个方面：基础访问数据、商品销售数据、营销推广数据、用户数据。其中基础访问数据中包括网站的访问数据、网页链接点击、来源跳出等，商品销售数据关系到品类、销售多少、影响因素等，营销推广数据包括投入产出的投资回报率，它更多地是跟其他几方面的数据进行混合分析，用户数据则包括分析用户区域、购买频率、客户构成、忠诚度、偏好等。
适应变化需求
企业的数据分析需求可能是随时变化的，快速迭代的敏捷数据分析能够满足业务人员不断变化的分析需求。在最初期，业务人员无法确定自己的全部数据分析需求。因此做数据分析必须先了解业务。只有知道业务问题在哪里，才能知道需要分析什么数据，而不是从数据表象来猜测业务。
比如京东当年与当当大战的时候，刘强东每天要了解图书品类的数据，但是现在他可能就不需要这样。
敏捷的快速迭代式数据分析能够解决企业绝大部分的分析需求，同时节省了时间成本和金钱。最重要的是，敏捷数据分析通过对大数据进行高速捕获和实时的分析，帮助企业获取核心业务和战略决策所需的关键信息，提升企业经营管理和战略决策水平，创造商业价值，这也许是对大数据价值的最好诠释。
想必大家都听说过敏捷开发，敏捷开发是以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。随着敏捷概念的深入人心，数据分析方法论也发生了革新，敏捷数据分析逐渐进入主流。本文将简要介绍到底何为敏捷数据分析。
传统VS敏捷
我们先来看一下传统的数据分析流程：解读业务战略目标——确定目标分解的量化KPI——确定KPI的计算公式和所需字段——确定所需字段来自于哪些数据库的哪些表——数据建模——预先汇总成二次表和Cube——结果展示。由于需要建模和打Cube，这一流程通常需数月才能完成。
现在，取代传统数据分析流程的，是快速迭代式分析。敏捷数据分析不必在开始时花很长的时间构思大而全的分析指标体系，而是低成本快速迭代，几分钟就做好一个当前想要分析的结果，通过敏捷数据分析工具实现动态切换视角，灵活展示数据，日积月累，指标自然越来越丰富，计算公式也越来越符合业务逻辑，这时再将其体系化。
为什么传统数据分析无法实现快速迭代分析的高效？因为在过去，大数据海量数据的计算能力达不到要求，所以我们才需要IT人员通过建模等方式提前把数据计算汇总好，随着大数据的技术相对来讲都日趋成熟和完善，分布式计算、内存计算、列存储等比较成熟的技术架构，采用这种新的办法去处理数据的性能，已经比以前提升了几十倍甚至更高。
透视BI市场
事实上，敏捷数据分析行业作为新兴行业，直到近两年才进入成熟期。美国独立咨询公司Gartner魔力象限2006年公布的BI（商业智能）魔力矩阵中，标榜为领导者区域的第一象限还看不到一家敏捷BI厂商，都是大家熟知的传统BI，例如IBM Cognos、SAP Business Objects等。直到2012年，第一象限中出现了第一家敏捷BI厂商QlikTech。2014年则是敏捷BI行业的转折点，第一象限有了3家敏捷BI厂商，数量上占据近半江山。敏捷型BI由此成熟，摇身成为主流BI系统。
通过今年最新的Gartner魔力象限报告，我们看到的BI国际市场的情况是，BI在成熟市场的年均复合增长率为9%。其中， Qlik、Splunk等敏捷BI厂商得到了市场的认同，用他们的产品去替换现有平台的案例越来越多，尤其中小企业（也包括部门级应用），SAP、SAS和IBM等老牌BI厂商对客户需求的支持最全，拥有很大客户群体。但他们的产品在企业级监控、管理、扩展性等方面还有欠缺，越来越多企业倾向于部署敏捷BI，因此用户基数很大的传统BI厂家正在被逐渐边缘化。而微软、微策略、甲骨文等厂商在产品愿景方面的完整性不错，但正被管理、执行方面的挑战所阻碍。目前这些厂商也正在推出新的功能应对敏捷BI厂商（例如SAP Lumira和IBM Watson Analytics）。
正如Gartner所总结的， BI市场正在发生基础性的变革。“当前的BI市场状况看起来像上世纪80年代晚期的主机/工作站市场，那时的客户和需求也正在彻底转变。这些转变驱使HP对计算平台的战略和架构进行了彻底的再思考和再设计。最终，这场转变让DEC消亡，因为他的行动实在是太慢了。类似地，今天的BI巨头也站在十字路口中间。” 2005年将可能是关键的一年，决定谁是这场变革的最终赢家。
在中国，敏捷BI起步较晚，包括永洪BI在内的公司逐渐推出不同的数据可视化分析产品。相比国外同行以渠道商为主的市场策略，本土公司的特点是，可以提供本地技术支持，且产品考虑到中国客户制作多表头复杂式报表的需求。目前，国外敏捷BI企业已加大进入中国的步伐，相信在越来越多参与者的进入下，敏捷数据分析将更加普及，为越来越多的中国企业提供更完善快捷的数据可视化分析解决方案。
敏捷开发的原则
敏捷开发过程的12条基本原则中有6条原则可以用来描述敏捷BI。优先级最高的是通过尽早的、持续的交付有价值的商业智能软件来使客户满意。即使到了开发的后期，也欢迎改变需求，敏捷过程利用变化来为客户创造竞争优势。在整个项目开发期间，业务人员和开发人员必须每天在一起工作。
敏捷BI对拥有大数据的企业，如咨询研究机构、互联网营销机构、舆情/商情分析机构、精准营销机构，以及各行业的传统企业，无论是内部使用数据，还是对外提供数据服务，都有了更加敏捷高效的方法。
拥有小数据的企业或部门，在做市场分析、财务分析、销售分析、客户分析时，不用再用复杂的系统工具进行数据挖掘，分析的门槛极大降低，这意味着原来由于成本、实施周期、复杂度等门槛而被BI厂商排拒的广大中小企業，可以通过敏捷BI真正开始数据挖掘之旅。
敏捷BI正在给各行各业带来变革，行业应用提供商可以快速嵌入敏捷BI工具来为客户提供更多增值服务。对于实施商而言，BI的项目风险极大降低，项目周期极大缩短，“短平快”地出结果。
符合迭代思维
说了这么多，快速迭代式的敏捷数据分析方法有什么好处？
首先，这种分析方法十分符合互联网思维中的迭代思维。企业的分析指标不可能一开始想得非常全面，本身就是逐步迭代形成的。以电商行业为例，电子商务的数据可分为两类：前端行为数据和后端商业数据。前端行为数据指访问量、浏览量、点击量和站内搜索等反映用户行为的数据；而后端数据更侧重商业数据，比如交易量、投资回报率，以及全生命周期管理等。
在最初期，电商行业最关注的是那些核心指标：UV、转化率、客单价、毛利率、推广ROI、重复购买率，人们在核心指标的基础上逐步对媒体、用户、商品、营销等对象做详细分析；同时对客服、商品、仓储物流等内部运营绩效方面进行监控。这些数据现在又可以被归纳发展为4个方面：基础访问数据、商品销售数据、营销推广数据、用户数据。其中基础访问数据中包括网站的访问数据、网页链接点击、来源跳出等，商品销售数据关系到品类、销售多少、影响因素等，营销推广数据包括投入产出的投资回报率，它更多地是跟其他几方面的数据进行混合分析，用户数据则包括分析用户区域、购买频率、客户构成、忠诚度、偏好等。
适应变化需求
企业的数据分析需求可能是随时变化的，快速迭代的敏捷数据分析能够满足业务人员不断变化的分析需求。在最初期，业务人员无法确定自己的全部数据分析需求。因此做数据分析必须先了解业务。只有知道业务问题在哪里，才能知道需要分析什么数据，而不是从数据表象来猜测业务。
比如京东当年与当当大战的时候，刘强东每天要了解图书品类的数据，但是现在他可能就不需要这样。
敏捷的快速迭代式数据分析能够解决企业绝大部分的分析需求，同时节省了时间成本和金钱。最重要的是，敏捷数据分析通过对大数据进行高速捕获和实时的分析，帮助企业获取核心业务和战略决策所需的关键信息，提升企业经营管理和战略决策水平，创造商业价值，这也许是对大数据价值的最好诠释。