论文部分内容阅读
1999年9月23日， 美国国家航空航天局耗资近3.28亿美元研制发射的火星气候探测者号在进入火星轨道的过程中与地面失去联络，最终任务失败。耗费如此巨资项目的失败无疑让人痛心，然而更令人扼腕的是失败的原因竟然是计量单位搞错了。原来地面人员输入的数据指令用了英制单位，而飞行系统软件使用公制单位。这一错误导致探测器进入大气层的高度有误，最终解体坠毁。
从数据科学的角度看，这次航天仼务的失利是数据定义没有做好，正所谓“失之毫厘，谬以千里”。数据定义是数据收集和分析的基础，看似简单，想要在实践中做好却并不容易。尤其是在大数据系统中（如宇航工程），维护数据定义的正确性和一致性就更具挑战性了。
数据定义有两个要素，一个是关于定义的概念，另一个是关于定义的测度。前者可被称为概念定义，而后者可被称为操作定义。好的数据定义应该同时具有清晰的概念定义和操作定义。火星气候探测者号的悲剧就是操作定义没有在系统中做到一致性而导致的。
而在另一些应用场合，概念定义可能成为问题的症结所在。一家国内著名电商的大数据负责人曾经告诉我，一个让他们非常头疼的问题就是应该如何定义什么是一笔“订单”。从IT人的角度，“订单”的概念似乎应是很简单的，那就是顾客一次付款购买的全部商品。然而实际却远比这个复杂。比如说，有时候下单之后，后台发现某个产品断货，然后征得顾客同意取消了原订单中的这一项产品。这样就有了两种订单的定义，初始订单和真正执行的订单。接着在仓库配送时，一张订单可能会被拆成两次或多次送货。这样一个订单在运营记录中变成了几张单子，在财务那边也造成了多张发票。最后，顾客可能发现自己不喜欢购买的一些产品而要求退货。结果一张订单的实收款往往有别于下单时的金额和配送时的金额。这样以来一笔订单到底该如何定义，一张订单的金额和包含的产品数到底该如何计算，就成了个棘手问题。
重要的是，这一数据定义不仅是个技术问题，而且还有战略层面的意义。从营销和客户关系管理的角度看，订单的定义需要能反映顾客购买次数和（考虑退货后的）实际消费金额。但是从运营管理的角度，订单的定义最好能反映实际配送成本和配送质量（如递送速度，准确率等）；因此拆分后的实际配送订单对运营决策更具意义。而在公司高层决策者看来，以上各种的订单概念都有其重要性和对应的管理作用，因此都希望保留。所以对数据部门来说，挑战一下就大了起来。因为不仅要在系统中维护不同的订单定义，而且还要注意及时提醒使用数据的决策者当前看到的数据和分析结果是基于何种订单概念。因为不同部门有自己对数据定义的偏好，在提供数据图表时还要尽量给出个性化的定制。
更多的时候，清晰的概念定义和操作定义都不容易给出。笔者曾经给一家著名的跨国石油公司做过零售方面的咨询，是关于其在全球各个自有加油站的定价优化。要给某个加油站做定价优化，知道其竞争对手是谁应是必不可少的。可是竞争对手到底该怎么定义呢？竞争的概念似乎是不言而喻的，但是不言而喻恰恰正是隐患所在。强调数据科学，就是要消除这些隐患，把概念清晰地表达出来。
从经济学角度，对于竞争对手的严格定义应该是：如果至少有一部分消费者在购买时会考虑在A和B中做出选择，那么B是A的竞争者。但是这一定义却缺乏可操作性。该公司收集了自己加油站每天每时段的销售情况，但只能追踪同城其它加油站的每天定价和广告变化。另外，对于持品牌积分卡的顾客，他们在该公司的消费情况能被完整地追踪，但是他们是否也加过其它品牌的油就不得而知了。
经过一番仔细思考，我们决定采用如下的定义：B加油站是A加油站的竞争者，如果B的营销活动（如价格降低、广告等）对A的销量有负面影响。这一定义符合我们对竞争的一般理解，而且还考虑到了数据收集的可行性，所需的数据都是已经有了的。可是即便有了这个定义，操作起来还是充满了挑战。首先，澘在竞争者的范围该如何定？离A一公里？ 五公里？还有更远的可能性因为消费者可能会比较居住地附近的加油站和上班地附近的加油站。大数据在这一点上能帮助我们。比如说我们可以把网撒得很大，扩大到一百公里的半径，把潜在的竞争者都查一遍。
可是下一个问题又来了：我们怎么判断B的营销活动（如价格变化，广告等等）对A的销量有影响呢？和有些流行大数据读物所宣称的不同，我们发现单纯看相关性并不可行。 举个例子，由于原油价格上升，B提了价，而消费者也总体减少了开车的里程。这样从数据上我们看到的是B的价格提升往往伴随着A的销量减少，这似乎意味着B不是A的竞争者，而事实则可能正好相反。
最后我们的解决方案是放弃了寻找A的具体竞争对手的想法，而是把所有A以外的加油站的营销活动汇总起来做成一个A的市场环境指数，再基于这一指数做出A的定价优化。其中的细节十分复杂，篇幅所限，就不赘述了。
以上的这些例子让我们看到数据定义的问题看似简单，也因此往往被忽视，但是这其中的挑战不可不察。所谓“千里之行，始于足下”，“好的开端是成功的一半”， 这些用来描述数据定义的重要性决不为过。要用好大数据，我们必须对数据定义慎而慎之。
从数据科学的角度看，这次航天仼务的失利是数据定义没有做好，正所谓“失之毫厘，谬以千里”。数据定义是数据收集和分析的基础，看似简单，想要在实践中做好却并不容易。尤其是在大数据系统中（如宇航工程），维护数据定义的正确性和一致性就更具挑战性了。
数据定义有两个要素，一个是关于定义的概念，另一个是关于定义的测度。前者可被称为概念定义，而后者可被称为操作定义。好的数据定义应该同时具有清晰的概念定义和操作定义。火星气候探测者号的悲剧就是操作定义没有在系统中做到一致性而导致的。
而在另一些应用场合，概念定义可能成为问题的症结所在。一家国内著名电商的大数据负责人曾经告诉我，一个让他们非常头疼的问题就是应该如何定义什么是一笔“订单”。从IT人的角度，“订单”的概念似乎应是很简单的，那就是顾客一次付款购买的全部商品。然而实际却远比这个复杂。比如说，有时候下单之后，后台发现某个产品断货，然后征得顾客同意取消了原订单中的这一项产品。这样就有了两种订单的定义，初始订单和真正执行的订单。接着在仓库配送时，一张订单可能会被拆成两次或多次送货。这样一个订单在运营记录中变成了几张单子，在财务那边也造成了多张发票。最后，顾客可能发现自己不喜欢购买的一些产品而要求退货。结果一张订单的实收款往往有别于下单时的金额和配送时的金额。这样以来一笔订单到底该如何定义，一张订单的金额和包含的产品数到底该如何计算，就成了个棘手问题。
重要的是，这一数据定义不仅是个技术问题，而且还有战略层面的意义。从营销和客户关系管理的角度看，订单的定义需要能反映顾客购买次数和（考虑退货后的）实际消费金额。但是从运营管理的角度，订单的定义最好能反映实际配送成本和配送质量（如递送速度，准确率等）；因此拆分后的实际配送订单对运营决策更具意义。而在公司高层决策者看来，以上各种的订单概念都有其重要性和对应的管理作用，因此都希望保留。所以对数据部门来说，挑战一下就大了起来。因为不仅要在系统中维护不同的订单定义，而且还要注意及时提醒使用数据的决策者当前看到的数据和分析结果是基于何种订单概念。因为不同部门有自己对数据定义的偏好，在提供数据图表时还要尽量给出个性化的定制。
更多的时候，清晰的概念定义和操作定义都不容易给出。笔者曾经给一家著名的跨国石油公司做过零售方面的咨询，是关于其在全球各个自有加油站的定价优化。要给某个加油站做定价优化，知道其竞争对手是谁应是必不可少的。可是竞争对手到底该怎么定义呢？竞争的概念似乎是不言而喻的，但是不言而喻恰恰正是隐患所在。强调数据科学，就是要消除这些隐患，把概念清晰地表达出来。
从经济学角度，对于竞争对手的严格定义应该是：如果至少有一部分消费者在购买时会考虑在A和B中做出选择，那么B是A的竞争者。但是这一定义却缺乏可操作性。该公司收集了自己加油站每天每时段的销售情况，但只能追踪同城其它加油站的每天定价和广告变化。另外，对于持品牌积分卡的顾客，他们在该公司的消费情况能被完整地追踪，但是他们是否也加过其它品牌的油就不得而知了。
经过一番仔细思考，我们决定采用如下的定义：B加油站是A加油站的竞争者，如果B的营销活动（如价格降低、广告等）对A的销量有负面影响。这一定义符合我们对竞争的一般理解，而且还考虑到了数据收集的可行性，所需的数据都是已经有了的。可是即便有了这个定义，操作起来还是充满了挑战。首先，澘在竞争者的范围该如何定？离A一公里？ 五公里？还有更远的可能性因为消费者可能会比较居住地附近的加油站和上班地附近的加油站。大数据在这一点上能帮助我们。比如说我们可以把网撒得很大，扩大到一百公里的半径，把潜在的竞争者都查一遍。
可是下一个问题又来了：我们怎么判断B的营销活动（如价格变化，广告等等）对A的销量有影响呢？和有些流行大数据读物所宣称的不同，我们发现单纯看相关性并不可行。 举个例子，由于原油价格上升，B提了价，而消费者也总体减少了开车的里程。这样从数据上我们看到的是B的价格提升往往伴随着A的销量减少，这似乎意味着B不是A的竞争者，而事实则可能正好相反。
最后我们的解决方案是放弃了寻找A的具体竞争对手的想法，而是把所有A以外的加油站的营销活动汇总起来做成一个A的市场环境指数，再基于这一指数做出A的定价优化。其中的细节十分复杂，篇幅所限，就不赘述了。
以上的这些例子让我们看到数据定义的问题看似简单，也因此往往被忽视，但是这其中的挑战不可不察。所谓“千里之行，始于足下”，“好的开端是成功的一半”， 这些用来描述数据定义的重要性决不为过。要用好大数据，我们必须对数据定义慎而慎之。