论文部分内容阅读
本书能帮助读者区分大数据中哪些是噪声,哪些是信号。对于身处大数据时代的每一个企业、每一个政策制定者和每一个“关心下一刻会发生什么”的人来说,这本书都不可不读。
《信号与噪声》
[美] 纳特·西尔弗 著
胡晓姣、张新、朱辰辰 译
中信出版社2013-09
“一位专家接受新闻媒体的采访越多,他的预测就可能越不准确。”
作为一个中国媒体人,看到美国“神算小子”纳特·西尔弗引述的这句话,心里在发笑,嘴里却不知如何说才好。
2012年成功预测全美50个州的大选结果后,纳特·西尔弗趁势推出《信号与噪声》一书,名声大噪,日前译介至国内。同处一个混沌的大数据时代,阅之颇心有戚戚焉。
大海捞针
以往信息蔽塞,看不清形势,这容易理解。如今数据大爆炸,很多人便对前路变得自信满满,给他一台计算机,似乎便能生成未来图像,撬动起人们的“三观”。事实上,很不幸,到目前为止,大数据时代的预测,大多是错误的。
原因很简单,有用的“信号”固然呈指数级增长,但无用的“噪声”更是铺天盖地。相形之下,“信号”就如掉进汪洋大海中的几根针,把它们捞起来,可能比以前更费神。
哪位候选人将上台执政?为什么多数经济学家在危机前夕还在唱多?有效市场假说如何面对非理性繁荣?天气预报说降水概率为60%,出门要带伞吗?地震发生之前,真的无法预测吗?未来十年全球气温会上升还是下降?中情局为什么忽略“9·11”恐怖袭击发生的信号?禽流感为何会突然暴发,又突然消失?如何从1326种组合中猜出对手的底牌?……人无往而不在数据之中,苦恼的是,信号在噪声所裹挟的数据中。大到全球战略和国家政策,小到一场牌局、一次出行,都与不确定性伴生。靠谱的预测越来越显得稀缺和宝贵。
数据日趋丰富,技术手段日趋高明,经济社会结构日趋精密复杂,出错的可能性自然比农耕社会时要低,但一旦出错,往往就是要命的大错。
2007年11月,美国次贷危机带来的大衰退正式爆发前的一个月,美国房地产市场已经出现明显的危机迹象,房产止赎率上涨一倍,全美的抵押贷款机构全部濒临破产,信贷市场也出现了不祥之兆。其时,费城联邦储备银行进行的“专业预测人员情况调查”却显示,很多经济学家认为,发生严重经济衰退的概率为零。
身在火坑内,高盛集团首席经济学家简·哈祖斯是为数不多的“当局者清”之一,当时,他写了一份预警备忘录,备忘录里提到的情况大部分都切切实实发生。
这位有先见之明的经济学家并不因此而自鸣得意,正是这分谦逊让他保持清醒,胜出多数同行。他在接受西尔弗采访时坦承,自己的预测也很容易出错,因为经济预测本来就很难,要面临三大基本挑战:第一,单纯依靠经济统计数据,很难判断起因和结果;第二,经济始终在变化,某一经济周期的经济运行状况无法用来解释未来经济的发展;第三,参照的原始数据质量不高,充满了噪声。
比起专业性、可量化性较强的经济议题,政治议题预测往往更易误入歧途。美国著名的电视政治预测节目“麦克劳夫伦讨论小组”,上座“专家”多年的大选预测结果令人咋舌,正确与错误基本一半对一半,一个毫无分析能力的婴儿闭着眼也可以做到。
不过,电视节目需要的是收视率,是劲爆新闻,是善于表达的演说者,而不会在乎是非对错。抓不住信号不重要,重要的是不要漏过耸人听闻的噪声。时下所谓互联网浅薄症,也基于同样的病因。
会计行业半路出家的西尔弗,只不过凭着点统计学的底子,2008年创建“538”(美国选举人票总数)博客,借助各类民调数据综合分析,并随着选情的临近、新信号的出现而不断调整,是年的大选就猜对了50个州中的49个。
这么一说,预测其实也不算太难,尤其对选举这样非黑即白、人人都有发言权的类型。西尔弗归纳了几个原则:“用概率的方法思考问题”,承认这个真实世界存在不确定性;“今天的预测是你以后人生的第一个预测”,遵循“进程-修正”方式;“寻求共识”,群体预测往往优于个人预测,“从众”多数时候是明智之举。
刺猬与狐狸
但许多“专家”太过自信,太过固执,且想标新立异,似乎舍此便不能自证英明神武。这类型的“专家”,在思想史上有个形象的比喻——“刺猬”。
1953年,英国思想史家以赛亚·伯林出版过一本薄薄的小书《刺猬与狐狸》,他把作家与思想家分为两大类:刺猬属于A型性格的人,他们相信“凭一技之长而无穷”,认为自己掌控着世间真理,认为自己就是万物的法则,切实保障着社会的运行。而狐狸认为“千伎百俩而有尽”,解决问题有许多方法。他们对于琐碎、不确定、复杂或是有分歧的意见更加有耐心。
“刺猬”偏爱建构体系、通盘计划,不达目的不罢休。中国过去几十年里经历过的成就与挫折,苦难与辉煌,亦可以“刺猬与狐狸”的视野观之。
“刺猬”对外界的信息往往选择性接受,只关注那些符合其预期的信息。信息越丰富,支持其结论的“证据”也就越多,成见也就越坚不可摧。凯斯·桑斯坦的《网络共和国》一书也认为,人们通过网络更容易获得的是自己喜欢的信息,而拒绝接受自己不喜欢的信息。如今自媒体何其发达,信息渠道何其多元,但基于“粉丝”、“好友”圈子的传播交流途径其实日趋窄化,社会群体心理有分裂化的风险。
扯远了。回到西尔弗所称概率式的思考方法,主要指贝叶斯定理,通俗说就是通过几个已知概率来推算未知概率。这一思考方法鼓励人们同时提出许多不同的假设并考虑其发生的概率,当遇到有关新信息时,还需要停下来,仔细思考自己想法的不足之处,时常更新预测。
最怕的是提不出假设。“9·11”前,美国曾有机会识破“基地”的阴谋,逮捕了一个对驾驶波音747飞机异常感兴趣的伊斯兰极端分子。但正如“9·11”恐怖袭击事件委员会总结的那样,“整个系统都无法理解这一信息的潜在含义”,压根就没考虑过这一假设的存在。 比起政策问题、能力问题、管理问题,缺乏想象力是更为关键的问题。“狐狸”总是对看似确定的环境保持警惕,对未知领域充满好奇,没有什么虚设的人为藩篱能够阻挡其观察风向的视野,阻挡其采集猎物的脚步。当变化来临之际,也就不至于过度惊慌。
“不做死多头,不做死空头,要做坚定的滑头。”国内知名投资人“杨百万”的名言,也是“狐狸”式智慧。关于股市预测,《信号与噪声》也提到今年诺贝尔经济学奖获得者尤金·法马和罗伯特·席勒这对奇特组合,一个说市场是有效的,一个说存在非理性繁荣。对于“滑头”来说,市场长期来说确实是有效的,但有时,价格的确是错误的。这就是“滑头”们的机会。
极端的有效市场假说甚至否认内幕交易的“有效”性。这一点西尔弗不接受,相信广大中国股民更不接受。比起无知或固执带来的偏见,内部操控者的曲解、误导在噪声的汪洋大海中蓄意把水搅浑,堪称大数据时代最大的有害干扰源。对此,光讲道理显然是没用的。
一周书情
《大繁荣——大众创新如何带来国家繁荣》
[美]埃德蒙·费尔普斯 著
余江 译
中信出版社 2013-09
经济如何增长?经济繁荣又来自何处?繁荣的源泉在今天为什么受到威胁?在本书中,诺贝尔经济学奖得主埃德蒙·费尔普斯根据毕生的思考对此提出了革命性的观点。
《2052:未来四十年的中国与世界》
[挪威]乔根·兰德斯 著
秦雪征、谭静、叶硕 译
译林出版社 2013-09
本书聚合了全球顶尖的科学家、经济学家与未来学研究者,就经济、能源、自然资源、气候、食品、城市化、养老金等问题,对未来40年进行了趋势预测。
《南非的启示》
秦晖 著
江苏文艺出版社 2013-10
“我们时代少有的百科全书式的学者”秦晖从南非发现另一个中国,反思福利、暂住证、农民工工棚、非法强拆、新农村等问题。
《自恋主义文化》
[美]克里斯托弗·拉什 著
陈红雯、吕明 译
上海译文出版社 2013-08
本书是20世纪社会心理和文化批评的经典之作,对于美国乃至西方的学术界以及社会公共议题影响巨大,并获得当年度的美国国家图书奖。
《信号与噪声》
[美] 纳特·西尔弗 著
胡晓姣、张新、朱辰辰 译
中信出版社2013-09
“一位专家接受新闻媒体的采访越多,他的预测就可能越不准确。”
作为一个中国媒体人,看到美国“神算小子”纳特·西尔弗引述的这句话,心里在发笑,嘴里却不知如何说才好。
2012年成功预测全美50个州的大选结果后,纳特·西尔弗趁势推出《信号与噪声》一书,名声大噪,日前译介至国内。同处一个混沌的大数据时代,阅之颇心有戚戚焉。
大海捞针
以往信息蔽塞,看不清形势,这容易理解。如今数据大爆炸,很多人便对前路变得自信满满,给他一台计算机,似乎便能生成未来图像,撬动起人们的“三观”。事实上,很不幸,到目前为止,大数据时代的预测,大多是错误的。
原因很简单,有用的“信号”固然呈指数级增长,但无用的“噪声”更是铺天盖地。相形之下,“信号”就如掉进汪洋大海中的几根针,把它们捞起来,可能比以前更费神。
哪位候选人将上台执政?为什么多数经济学家在危机前夕还在唱多?有效市场假说如何面对非理性繁荣?天气预报说降水概率为60%,出门要带伞吗?地震发生之前,真的无法预测吗?未来十年全球气温会上升还是下降?中情局为什么忽略“9·11”恐怖袭击发生的信号?禽流感为何会突然暴发,又突然消失?如何从1326种组合中猜出对手的底牌?……人无往而不在数据之中,苦恼的是,信号在噪声所裹挟的数据中。大到全球战略和国家政策,小到一场牌局、一次出行,都与不确定性伴生。靠谱的预测越来越显得稀缺和宝贵。
数据日趋丰富,技术手段日趋高明,经济社会结构日趋精密复杂,出错的可能性自然比农耕社会时要低,但一旦出错,往往就是要命的大错。
2007年11月,美国次贷危机带来的大衰退正式爆发前的一个月,美国房地产市场已经出现明显的危机迹象,房产止赎率上涨一倍,全美的抵押贷款机构全部濒临破产,信贷市场也出现了不祥之兆。其时,费城联邦储备银行进行的“专业预测人员情况调查”却显示,很多经济学家认为,发生严重经济衰退的概率为零。
身在火坑内,高盛集团首席经济学家简·哈祖斯是为数不多的“当局者清”之一,当时,他写了一份预警备忘录,备忘录里提到的情况大部分都切切实实发生。
这位有先见之明的经济学家并不因此而自鸣得意,正是这分谦逊让他保持清醒,胜出多数同行。他在接受西尔弗采访时坦承,自己的预测也很容易出错,因为经济预测本来就很难,要面临三大基本挑战:第一,单纯依靠经济统计数据,很难判断起因和结果;第二,经济始终在变化,某一经济周期的经济运行状况无法用来解释未来经济的发展;第三,参照的原始数据质量不高,充满了噪声。
比起专业性、可量化性较强的经济议题,政治议题预测往往更易误入歧途。美国著名的电视政治预测节目“麦克劳夫伦讨论小组”,上座“专家”多年的大选预测结果令人咋舌,正确与错误基本一半对一半,一个毫无分析能力的婴儿闭着眼也可以做到。
不过,电视节目需要的是收视率,是劲爆新闻,是善于表达的演说者,而不会在乎是非对错。抓不住信号不重要,重要的是不要漏过耸人听闻的噪声。时下所谓互联网浅薄症,也基于同样的病因。
会计行业半路出家的西尔弗,只不过凭着点统计学的底子,2008年创建“538”(美国选举人票总数)博客,借助各类民调数据综合分析,并随着选情的临近、新信号的出现而不断调整,是年的大选就猜对了50个州中的49个。
这么一说,预测其实也不算太难,尤其对选举这样非黑即白、人人都有发言权的类型。西尔弗归纳了几个原则:“用概率的方法思考问题”,承认这个真实世界存在不确定性;“今天的预测是你以后人生的第一个预测”,遵循“进程-修正”方式;“寻求共识”,群体预测往往优于个人预测,“从众”多数时候是明智之举。
刺猬与狐狸
但许多“专家”太过自信,太过固执,且想标新立异,似乎舍此便不能自证英明神武。这类型的“专家”,在思想史上有个形象的比喻——“刺猬”。
1953年,英国思想史家以赛亚·伯林出版过一本薄薄的小书《刺猬与狐狸》,他把作家与思想家分为两大类:刺猬属于A型性格的人,他们相信“凭一技之长而无穷”,认为自己掌控着世间真理,认为自己就是万物的法则,切实保障着社会的运行。而狐狸认为“千伎百俩而有尽”,解决问题有许多方法。他们对于琐碎、不确定、复杂或是有分歧的意见更加有耐心。
“刺猬”偏爱建构体系、通盘计划,不达目的不罢休。中国过去几十年里经历过的成就与挫折,苦难与辉煌,亦可以“刺猬与狐狸”的视野观之。
“刺猬”对外界的信息往往选择性接受,只关注那些符合其预期的信息。信息越丰富,支持其结论的“证据”也就越多,成见也就越坚不可摧。凯斯·桑斯坦的《网络共和国》一书也认为,人们通过网络更容易获得的是自己喜欢的信息,而拒绝接受自己不喜欢的信息。如今自媒体何其发达,信息渠道何其多元,但基于“粉丝”、“好友”圈子的传播交流途径其实日趋窄化,社会群体心理有分裂化的风险。
扯远了。回到西尔弗所称概率式的思考方法,主要指贝叶斯定理,通俗说就是通过几个已知概率来推算未知概率。这一思考方法鼓励人们同时提出许多不同的假设并考虑其发生的概率,当遇到有关新信息时,还需要停下来,仔细思考自己想法的不足之处,时常更新预测。
最怕的是提不出假设。“9·11”前,美国曾有机会识破“基地”的阴谋,逮捕了一个对驾驶波音747飞机异常感兴趣的伊斯兰极端分子。但正如“9·11”恐怖袭击事件委员会总结的那样,“整个系统都无法理解这一信息的潜在含义”,压根就没考虑过这一假设的存在。 比起政策问题、能力问题、管理问题,缺乏想象力是更为关键的问题。“狐狸”总是对看似确定的环境保持警惕,对未知领域充满好奇,没有什么虚设的人为藩篱能够阻挡其观察风向的视野,阻挡其采集猎物的脚步。当变化来临之际,也就不至于过度惊慌。
“不做死多头,不做死空头,要做坚定的滑头。”国内知名投资人“杨百万”的名言,也是“狐狸”式智慧。关于股市预测,《信号与噪声》也提到今年诺贝尔经济学奖获得者尤金·法马和罗伯特·席勒这对奇特组合,一个说市场是有效的,一个说存在非理性繁荣。对于“滑头”来说,市场长期来说确实是有效的,但有时,价格的确是错误的。这就是“滑头”们的机会。
极端的有效市场假说甚至否认内幕交易的“有效”性。这一点西尔弗不接受,相信广大中国股民更不接受。比起无知或固执带来的偏见,内部操控者的曲解、误导在噪声的汪洋大海中蓄意把水搅浑,堪称大数据时代最大的有害干扰源。对此,光讲道理显然是没用的。
一周书情
《大繁荣——大众创新如何带来国家繁荣》
[美]埃德蒙·费尔普斯 著
余江 译
中信出版社 2013-09
经济如何增长?经济繁荣又来自何处?繁荣的源泉在今天为什么受到威胁?在本书中,诺贝尔经济学奖得主埃德蒙·费尔普斯根据毕生的思考对此提出了革命性的观点。
《2052:未来四十年的中国与世界》
[挪威]乔根·兰德斯 著
秦雪征、谭静、叶硕 译
译林出版社 2013-09
本书聚合了全球顶尖的科学家、经济学家与未来学研究者,就经济、能源、自然资源、气候、食品、城市化、养老金等问题,对未来40年进行了趋势预测。
《南非的启示》
秦晖 著
江苏文艺出版社 2013-10
“我们时代少有的百科全书式的学者”秦晖从南非发现另一个中国,反思福利、暂住证、农民工工棚、非法强拆、新农村等问题。
《自恋主义文化》
[美]克里斯托弗·拉什 著
陈红雯、吕明 译
上海译文出版社 2013-08
本书是20世纪社会心理和文化批评的经典之作,对于美国乃至西方的学术界以及社会公共议题影响巨大,并获得当年度的美国国家图书奖。