从英国著名理论物理学家史蒂芬·霍金到特斯拉创始人伊隆·马斯克等世界顶尖 AI（人工智能）专家，都曾表示过人工智能对人类生存的威胁。
真有一天，人类会成为自己发明的机器人的受害者吗？
加州大学伯克利分校教授 Stuart Russell是该领域的专家。
他在刚出版的《Human Compatible: AI and the Problem of Control》一书中指出，这种威胁并非来自机器人开始有了自我意识，并起来反抗人类主人。
而是因为这些机器人能力变得超强，最后有可能是因为人类的疏忽，为机器人设置了错误的目标，让他们无意中把我们都消灭了。
Russell教授表示，这才是我们应该担心的，而不是像好莱坞大片中所描绘的那样，人工智能开始有自主意识，并向人类倒戈，最后把我们都杀光。
他强调：我们应该担忧的不是意识，而是它们的能力。假设我们发明了一个可以用于控制气候变化的强大人工智能系统，并且能将大气中的二氧化碳水平恢复到工业革命前的水平。
该人工智能系统经过分析后认为，最容易的方式就是消灭人类，因为人类活动是产生二氧化碳的最主要来源。当然人类可能会对机器人说，你做什么都可以但就是不能把人类全灭绝。
人工智能系统然后可能会说服人类少生孩子，直到最后没有人生孩子，人类慢慢灭绝为止。这个例子是想强调与人工智能有关的风险，这些风险都是人类在创造人工智能前并没有想明白的。
英国剑桥大学存在风险研究中心表示，当前大多数 AI系统都是相对“狭窄”的应用程序，专门用于解决某一领域中的特定问题。但1997年，超级电脑深蓝打败了国际象棋世界卫冕冠军 Garry Kasparov，成为人工智能史上里程碑。
然而，虽然深蓝击败了世界象棋卫冕冠军，但深蓝却可能连一场简单的跳棋游戏都赢不了。因为深蓝的设计者是专门让它下象棋的。
但这才仅仅是开始，随着人工智能的发展和进步，阿尔法围棋的最新版 AlphaGo Zero在经过短短3天跟自己练习之后，已经达到了超人水平。AlphaGo Zero通过深度学习，已经不太需要太多的人工程序。
它成为围棋、国际象棋以及将棋（又称日本将棋）的高手。这里，最让人感到震惊的是，AlphaGo Zero完全是自学成才。剑桥大学存在风险研究中心表示，随着人工智能逐渐强大，它可能会成为超级智能。
Russell教授说，这就是为什么人类需要收回控制权。他说，赋予人工智能更明确的目标并不是解决这一难题的方法，因为人类自己都无法确定这些目标是什么。
Russell表示，人们应该彻底改变建立人工智能系统的整体基础，例如，不再给机器人一个固定目标，而是让人工智能系统必须明白，它不知道目标是什么。一旦人工智能系统以这种方式运作的话，它就会听从于人类的指挥。
在执行任务之前，它会寻求人类的许可，因为它不确定这是不是你想要的。最至关重要的是，它们（AI）会乐意接受被随时关闭的选择，因为它们也希望避免做那些你不喜欢的事情。
Russell说，我们现在发明的 AI系统有点像传说中的神灯中的精灵一样，你轻拍神灯，灯里的精灵出来了。你对精灵说：你给我做这件事吧。
如果 AI系统足够强大，它就会完全按照你的要求去做，你也会得到你所要求的一模一样结果。但Russell表示，问题是跟神灯中的精灵故事那样，第三个愿望总是要求精灵“取消前面的那两个愿望”，因为我们无法确定自己到底想要什么。
其结果就可能造成，那个试图完成错误指令的机器人实际上变成了人类的敌人，一个比我们强大得多的敌人。