这群科学家打算做个让人放心的AI，每个决策都附赠内心独白

2017-01-21 夏乙量子位

“这个AI到底是怎么想的？”这个问题时常困扰着人类。

就连在科幻作品中，人类也想了解AI的决策过程。例如美剧《西部世界》中，host们就有解释自己状态和行为“分析模式（analysis mode）”。

我们不理解机器的决策是如何做出来的里，因为计算机和我们不同，它们处理信息时不用我们的语言。

这种对算法毫无控制力的感觉，引发了一波针对算法可说明性的革命，想要打破AI决策过程的“黑箱”状态。所谓“算法可说明性”，是指一开始就能理解是什么因素导致算法做出某个决策。

佐治亚理工学院(Georgia Institute of Technology)的研究人员就为此训练了一个带内心独白AI，边玩《青蛙闯关》（Frogger）边把自己的决策过程翻译成人话。

不过，AI说的话可信吗？负责这个项目的佐治亚理工助理教授Mark Riedl说，这个AI并不是直接描述它在做什么，而是预测人类在它所处的状况时，会说什么。这听起来有点复杂，但我们还是忍了吧：如果AI精确地描述它在做什么，我们看到的结果就是一长串数字。

这个团队录下了人类玩Frogger时说的话，转录成文字，然后把这些文字与算法对游戏当时情况的判断关联起来，然后训练一个独立的算法，让它把算法看见的情况翻译成人类说的话。

举个例子，当算法在屏幕上敲出“盼着有个起跳点让我跳一下喘口气”的时候，它并不是真的想跳，而是因为在游戏中遇到了一个人类很可能说出这句话的场景。

这个项目还处于概念验证阶段，Riedl说以后还会训练算法在完成其他任务时也自带独白。

量子位小助手

加我微信qbitbot，聊聊AI ❤️

刚刚

LeCun，Bengio，Goodfellow

量子位：转载授权也找我哦~