论文部分内容阅读
所有数据中心每年会消耗全世界1.5%的能源。
如果你正在寻找数码时代的中心命脉,那么不会有一个地方比得上美国北卡罗莱纳州的勒努瓦。这个不到2万人的乡下小城曾经遍布家具工厂,而现在它是谷歌的数据中心,谷歌的心脏。当然,谷歌并不是只有这一个心脏,数十个这样的谷歌数据中心分散在世界各地,在香港和新加坡也即将落户。
对谷歌公司而言,虽然它崇尚开放文化,可依然有许多秘密,有的为了产品需要,有的出于商业考虑,其中最保密的部分还是自己的数据中心。令人欣喜的是,现在谷歌有意让这个“黑箱”慢慢打开,这样数据中心的基础结构和运作方式就能略窥一二。
走入谷歌心脏
说起谷歌,它一贯优化的搜索算法改变着我们所有人接触信息甚至思考的方式。其背后,有着强大的基础:物理网络,上千英里的光纤,以及虽不知具体数字但必然难以计量的服务器,这些都构成了云计算的源头。
为了处理每天超过30亿的搜索查询、为了实时处理上百万的广告竞价、为了提供4.25亿Gmail用户的免费邮箱存储、为了压缩每天YouTube用户的数百万视频、为了在用户完成查询问题录入之前返回搜索结果、甚至为了在不久的将来令计算平台Glass提供视觉搜索结果,谷歌不惜花费数十亿美元打造数据中心。
北卡勒努瓦建有谷歌的一个数据中心,这是个巨大的白色建筑。这里不但外人难以进入,就连公司内部员工,也只有少数人才能进入。为了不被挡在加固门之外,数据中心主管把手放到安全扫描仪上打开了厚重的大门。
不过,在大门与核心区之间,还有一道坎。有个标志写着“必须佩戴听力保护装置才能进入”,这是因为内部控制气流的风扇会带来高分贝噪音,所有来者必须从鲑鱼色的耳塞和熊猫耳朵一样的耳罩中选一个。这样,外来人才能有机会看到传说中的“服务器地板”。
谷歌也“绿色”
谷歌“服务器地板”与想象中很不一样。传统意义上,服务器产生大量热,数据中心需要用大的机位空间和空调或者专业机房空调为其冷却,所以通常塞到地板下时温度会降到北极的水平。这需要难以想象的能源;据统计所有数据中心每年会消耗全世界1.5%的能源。
而谷歌耗资6亿美元的制冷系统却是基于这样的考虑:服务器控件不需要保持太冷。公司意识到,机器前的制冷通道可以保持在相对温和的26度,这样工人们就可以穿着短袖而不是其他数据中心的标准服装——毛衣。同时,设置在服务器尾端排放热量的“热通道”,可以允许达到49度。那些热量会被充满水的线圈所吸收,之后会被排出建筑并在流回之前已经制冷。
不仅如此,谷歌还发现了更“绿色”的方式来冷却水。对比其他数据中心依靠能源吞噬冷水系统,谷歌通常采用巨塔让热水缓缓流下,这就相当于一个大的散热器,一些水蒸发了而其余的达到室温甚至更低。在比利时的数据中心,谷歌采用循环工业水道来制冷,而在芬兰则采用海水。
此外,谷歌对电流的分析带来了进一步节电的方向。在大多数数据中心,服务器需要体积庞大的供电系统来保护自己免受停电困扰。这样做不仅漏电,其自身也需要冷却系统。为此,谷歌设计了放置服务器的货架,为每个服务器的备用电池留下空间,进而取代了传统供电系统。据介绍,这一模式将用电量损失减少了15%。
数据中心的省钱妙招
节省用电量当然能给谷歌公司省钱,不过它还有更多的省钱妙招。尽管仍被视为互联网公司,但谷歌已经成为世界上最大的硬件制造商,它的设备多数是自己制造的,这可以节省许多钱。
早在1999 年,谷歌从“三个开电子商店的人”那里买了 2000个剥离下来的电路板。通过改造,去除不必要的部件,谷歌构建了一排单个价格1500美元的服务器,而那时候的标准价位是 5000 美元。
现在,谷歌采用了更成熟的方法,确切知道自己需要什么并刨除不必要的部件。比如不需要显卡,因为这些服务器从来不用显示器;也不需要机箱,因为母版都是直接连在机架上的。如今,只有一个领域是谷歌没有尝试的,就是芯片。不过据高层表示,这很可能改变。
所有技术优势都需要在客户端体现出速度和保障,因此,谷歌启动了全世界光纤计划。在本世纪开始的几年,得益于一些电信运营商的失败,谷歌只付了很少的钱就买到了充足的光纤网络。现在,通过收购,交换,谷歌事实上已经铺设了几千股,一个强势的玻璃纤维帝国已经建成了。
不过,这样的光纤设施尚不足够。考虑到拥有YouTube这样的资产,数百万人要从谷歌的少数数据中心看视频,这将会很慢并形成负担。谷歌安装了自己的迷你数据中心于各类网络的前端。也就是说,如果你观看视频,你很可能是从几英里外的合租机房获得信息,而不是千里之外的勒努瓦数据中心。
危机处理
拥有各种类型的服务器集群,谷歌需要严格控制稳定性。谷歌内部有一个团队,叫做 SRE——网站可靠性工程团队。他们的任务就是使用各种方法,对服务器进行破坏,以检测公司进行危机处理的能力。
每年SRE 都会进行一次虚拟的战争。比如,在一个寒冷的早上,一小部分工程师开始攻击谷歌。首先他们关闭了内部网络服务。之后小队试图破坏各个数据中心,想从服务器盗窃包含数据的硬盘。他们搞砸了各种服务,包括公司的广告网络。他们将一个荷兰的数据中心下线,之后切断了大部分谷歌在亚洲的网络联络。
当然,这是内部演习。不过,尽管攻击是虚假的,但是几乎和现实一样,危机管理人员必须按照处理程序来做,如果他们不能找出处理方式,攻击就必须停止,以免影响到真正的用户。
这样的危机演习起源于“如何使谷歌网络避免失败”的考虑。最终,谷歌对可靠性做了这样的定义:允许0.05%的停机几率,并确保谷歌工程师们有效利用这个时间恢复正常工作,即谷歌在99.95%的时间里正常运行。正如谷歌高层所说,“我们希望不要因为愚蠢的原因当机,比如我们没注意。我们希望当机是因为新东西的引入”。
如果你正在寻找数码时代的中心命脉,那么不会有一个地方比得上美国北卡罗莱纳州的勒努瓦。这个不到2万人的乡下小城曾经遍布家具工厂,而现在它是谷歌的数据中心,谷歌的心脏。当然,谷歌并不是只有这一个心脏,数十个这样的谷歌数据中心分散在世界各地,在香港和新加坡也即将落户。
对谷歌公司而言,虽然它崇尚开放文化,可依然有许多秘密,有的为了产品需要,有的出于商业考虑,其中最保密的部分还是自己的数据中心。令人欣喜的是,现在谷歌有意让这个“黑箱”慢慢打开,这样数据中心的基础结构和运作方式就能略窥一二。
走入谷歌心脏
说起谷歌,它一贯优化的搜索算法改变着我们所有人接触信息甚至思考的方式。其背后,有着强大的基础:物理网络,上千英里的光纤,以及虽不知具体数字但必然难以计量的服务器,这些都构成了云计算的源头。
为了处理每天超过30亿的搜索查询、为了实时处理上百万的广告竞价、为了提供4.25亿Gmail用户的免费邮箱存储、为了压缩每天YouTube用户的数百万视频、为了在用户完成查询问题录入之前返回搜索结果、甚至为了在不久的将来令计算平台Glass提供视觉搜索结果,谷歌不惜花费数十亿美元打造数据中心。
北卡勒努瓦建有谷歌的一个数据中心,这是个巨大的白色建筑。这里不但外人难以进入,就连公司内部员工,也只有少数人才能进入。为了不被挡在加固门之外,数据中心主管把手放到安全扫描仪上打开了厚重的大门。
不过,在大门与核心区之间,还有一道坎。有个标志写着“必须佩戴听力保护装置才能进入”,这是因为内部控制气流的风扇会带来高分贝噪音,所有来者必须从鲑鱼色的耳塞和熊猫耳朵一样的耳罩中选一个。这样,外来人才能有机会看到传说中的“服务器地板”。
谷歌也“绿色”
谷歌“服务器地板”与想象中很不一样。传统意义上,服务器产生大量热,数据中心需要用大的机位空间和空调或者专业机房空调为其冷却,所以通常塞到地板下时温度会降到北极的水平。这需要难以想象的能源;据统计所有数据中心每年会消耗全世界1.5%的能源。
而谷歌耗资6亿美元的制冷系统却是基于这样的考虑:服务器控件不需要保持太冷。公司意识到,机器前的制冷通道可以保持在相对温和的26度,这样工人们就可以穿着短袖而不是其他数据中心的标准服装——毛衣。同时,设置在服务器尾端排放热量的“热通道”,可以允许达到49度。那些热量会被充满水的线圈所吸收,之后会被排出建筑并在流回之前已经制冷。
不仅如此,谷歌还发现了更“绿色”的方式来冷却水。对比其他数据中心依靠能源吞噬冷水系统,谷歌通常采用巨塔让热水缓缓流下,这就相当于一个大的散热器,一些水蒸发了而其余的达到室温甚至更低。在比利时的数据中心,谷歌采用循环工业水道来制冷,而在芬兰则采用海水。
此外,谷歌对电流的分析带来了进一步节电的方向。在大多数数据中心,服务器需要体积庞大的供电系统来保护自己免受停电困扰。这样做不仅漏电,其自身也需要冷却系统。为此,谷歌设计了放置服务器的货架,为每个服务器的备用电池留下空间,进而取代了传统供电系统。据介绍,这一模式将用电量损失减少了15%。
数据中心的省钱妙招
节省用电量当然能给谷歌公司省钱,不过它还有更多的省钱妙招。尽管仍被视为互联网公司,但谷歌已经成为世界上最大的硬件制造商,它的设备多数是自己制造的,这可以节省许多钱。
早在1999 年,谷歌从“三个开电子商店的人”那里买了 2000个剥离下来的电路板。通过改造,去除不必要的部件,谷歌构建了一排单个价格1500美元的服务器,而那时候的标准价位是 5000 美元。
现在,谷歌采用了更成熟的方法,确切知道自己需要什么并刨除不必要的部件。比如不需要显卡,因为这些服务器从来不用显示器;也不需要机箱,因为母版都是直接连在机架上的。如今,只有一个领域是谷歌没有尝试的,就是芯片。不过据高层表示,这很可能改变。
所有技术优势都需要在客户端体现出速度和保障,因此,谷歌启动了全世界光纤计划。在本世纪开始的几年,得益于一些电信运营商的失败,谷歌只付了很少的钱就买到了充足的光纤网络。现在,通过收购,交换,谷歌事实上已经铺设了几千股,一个强势的玻璃纤维帝国已经建成了。
不过,这样的光纤设施尚不足够。考虑到拥有YouTube这样的资产,数百万人要从谷歌的少数数据中心看视频,这将会很慢并形成负担。谷歌安装了自己的迷你数据中心于各类网络的前端。也就是说,如果你观看视频,你很可能是从几英里外的合租机房获得信息,而不是千里之外的勒努瓦数据中心。
危机处理
拥有各种类型的服务器集群,谷歌需要严格控制稳定性。谷歌内部有一个团队,叫做 SRE——网站可靠性工程团队。他们的任务就是使用各种方法,对服务器进行破坏,以检测公司进行危机处理的能力。
每年SRE 都会进行一次虚拟的战争。比如,在一个寒冷的早上,一小部分工程师开始攻击谷歌。首先他们关闭了内部网络服务。之后小队试图破坏各个数据中心,想从服务器盗窃包含数据的硬盘。他们搞砸了各种服务,包括公司的广告网络。他们将一个荷兰的数据中心下线,之后切断了大部分谷歌在亚洲的网络联络。
当然,这是内部演习。不过,尽管攻击是虚假的,但是几乎和现实一样,危机管理人员必须按照处理程序来做,如果他们不能找出处理方式,攻击就必须停止,以免影响到真正的用户。
这样的危机演习起源于“如何使谷歌网络避免失败”的考虑。最终,谷歌对可靠性做了这样的定义:允许0.05%的停机几率,并确保谷歌工程师们有效利用这个时间恢复正常工作,即谷歌在99.95%的时间里正常运行。正如谷歌高层所说,“我们希望不要因为愚蠢的原因当机,比如我们没注意。我们希望当机是因为新东西的引入”。