从英国著名理论物理学家史蒂芬·霍金到特斯拉创始人伊隆·马斯克等世界顶尖人工智能（AI）专家，都曾表示过AI对人类生存的威胁。
　　真有一天，人类会成为自己发明的机器人的受害者吗？
　　加州大学伯克利分校的斯图尔特·罗素教授是该领域的专家。
　　他在刚出版的《人类相容：人工智能与控制问题》一书中指出，这种威胁并非来自机器人开始有了自我意识，并起来反抗人类主人。
　　而是因为这些机器人能力变得超强，最后有可能是因为人类的疏忽，为机器人设置了错误的目标，让他们无意中把我们都消灭了。
　　罗素教授表示，这才是我们应该担心的，而不是像好莱坞大片中所描绘的那样，人工智能开始有自主意识，并向人类倒戈，最后把我们都杀光。
　　罗素教授强调：我们应该担忧的不是意识，而是它们的能力。

“超强能力”

　　罗素教授在接受采访时表示，假设我们发明了一个可以用于控制气候变化的强大人工智能系统，并且能将大气中的二氧化碳水平恢复到工业革命前的水平。
　　该人工智能系统经过分析后认为，最容易的方式就是消灭人类，因为人类活动是产生二氧化碳的最主要来源。
　　当然人类可能会对机器人说，你做什么都可以但就是不能把人类全灭绝。人工智能系统然后可能会说服人类少生孩子，直到最后没有人生孩子，人类慢慢灭绝为止。
　　这个例子是想强调与人工智能有关的风险，这些风险都是人类在创造人工智能前并没有想明白的。

超级智能

　　英国剑桥大学存在风险研究中心表示，当前大多数AI系统都是相对“狭窄”的应用程序，專门用于解决某一领域中的特定问题。
　　但1997年，超级电脑深蓝打败了国际象棋世界卫冕冠军加里·卡斯帕罗夫，成为人工智能史上里程碑。
　　然而，虽然深蓝击败了世界象棋卫冕冠军，但深蓝却可能连一场简单的跳棋游戏都赢不了。因为深蓝的设计者是专门让它下象棋的。
　　但这才仅仅是开始，随着人工智能的发展和进步，阿尔法围棋的最新版AlphaGo Zero在经过短短3天跟自己练习之后，已经达到了超人水平。
　　AlphaGo Zero通过深度学习，已经不太需要太多的人工程序。它成为围棋、国际象棋以及将棋（又称日本将棋）的高手。
　　这里，最让人感到震惊的是，AlphaGo Zero完全是自学成才。
　　剑桥大学存在风险研究中心表示，随着人工智能逐渐强大，它可能会成为超级智能。它会在许多，或是几乎所有领域都超越人类。
　　罗素教授说，这就是为什么人类需要收回控制权。

如何收回控制权

　　罗素说，赋予人工智能更明确的目标并不是解决这一难题的方法，因为人类自己都无法确定这些目标是什么。
　　罗素表示，人们应该彻底改变建立人工智能系统的整体基础，例如，不再给机器人一个固定目标，而是让人工智能系统必须明白，它不知道目标是什么。
　　一旦人工智能系统以这种方式运作的话，它就会听从于人类的指挥。在执行任务之前，它会寻求人类的许可，因为它不确定这是不是你想要的。
　　罗素教授表示，最至关重要的是，它们（AI）会乐意接受被随时关闭的选择，因为它们也希望避免做那些你不喜欢的事情。

神灯中的精灵

　　罗素说，我们现在发明的AT系统有点像传说中的神灯中的精灵一样，你轻拍神灯，灯里的精灵出来了。你对精灵说：“你给我做这件事吧。”
　　“如果AI系统足够强大，它就会完全按照你的要求去做，你也会得到你所要求的一模一样的结果。”
　　但罗素表示，问题是跟神灯中的精灵故事那样，第三个愿望总是要求精灵“取消前面的那两个愿望”，因为我们无法确定自己到底想要什么。
　　其结果就可能造成，那个试图完成错误指令的机器人实际上变成了人类的敌人，一个比我们强大得多的敌人。到那时，一切就太晚了。（摘自英国广播公司新闻网）（编辑/华生）