WeChat ID tju_ne Intro “明德致和，精实为公，坐言起行，厚栋任重”，欢迎关注天津大学神经工程与康复实验室（TUNERL）！ 作者：Matt Reynolds  译者：独孤芳 概要：嘿，AI  - 你觉得你正在看的是什么？机器学习算法时会被骗，以为看到了不存在的东西。 这是马? 嘿，AI  - 你觉得你正在看的是什么？机器学习算法时会被骗，以为看到了不存在的东西。随着像无人驾驶这样新兴事物的出现，了解这一现象的原因，变得愈发重要。有个测试可以揭示AI正在看图片的哪一部分，现在得益于这个测试，我们能一览机器的思绪。 人工智能无法和人类一样做出决策。例如，即使是最好的图像识别算法也可能被欺骗，以致它在仅仅有白噪声的图像中看到知更鸟或猎豹。  “这是一个大问题”，罗德岛普罗维登斯州布朗大学的克里斯·格林（Chris Grimm）说：“如果我们不明白为什么这些系统会犯低级错误，对于像无人驾驶这类我们生活中的事物，我们应该三思而后信。” Advertisement 因此，Grimm和他的同事创建了一个系统来分析正在识别图像内容的人工智能，以便呈现出人工智能正盯着图片的哪一部分。就好像对于文档排序算法来说，系统会突出显示这个算法曾经用了哪些词来对特定文档进行归类。 探察内部 谷歌研究员Dumitru Erhan表示，能查看AI内部并了解其学习方式，很有用。Grimm的工具为人们提供了一个便捷方法，来复核算法是否因正确的依据提出了正确的解决方案。 为了创建反映AI关注区域的工具，Grimm把他想测试的AI用第二个AI包裹起来。这个“包装版AI”更换了白噪声图像的一部分，看看它是否能影响软件的最初决策。 如果更换了图像的一部分，AI就改变了决定，那么图像的那个区域可能是决策的重要区域。这也同样适用于单词。如果在文档中改变单词使得AI对文档分类不同，则表明该单词是AI做出这个决定的关键。 一个AI经过训练，可以把图片归类入飞机、鸟类、鹿和马等10个类别。 Grimm对这个AI 进行了测试。他的系统绘制出了人工智能在进行分类时所看的位置。结果表明，人工智能已经自学掌握了将物体分解成不同的元素，然后在图像中搜索每一个元素来证实它的决定。 马头 例如，当查看马的图像时，Grimm的分析表明，人工智能首先密切关注腿部，然后搜索图像，查找出当马可能面向不同的方向时，马头可能的所在位置。AI对有鹿的图像采取了类似的方法，但在这些案例中，它特意搜索的是鹿角。AI几乎完全忽略了它认为并没包含有助于分类的其他信息的图像部位。 Grimm和他的同事们也对一个经训练能玩电子游戏Pong的AI进行了分析。他们发现它忽略了几乎所有的屏幕，只密切关注球拍移动轨迹旁的两个窄柱。AI对一些区域不太留意，因而球拍偏离其预期位置会让它误认为它是在看球而不是球拍。 Grimm认为他的工具可以帮助人们了解AI是如何做出决定的。例如，它可以用于查看在肺扫描中检测癌细胞的算法，确保它们不会查看图像的错误位置而无意中得出正确的答案。他说：“你可以看看是不是在关注正确的事情。” 但是，首先，格林想要用他的工具帮助人工智能学习。这个软件能辨别出AI什么时候没有留意，一边AI培训师将他们的软件引导到相关的信息点。 本文系网易新闻&网易号“各有态度”特色内容 作者：Matt Reynolds 译者：独孤芳 长按图片，识别二维码，关注“天津大学神经工程与康复实验室”！ Reward 长按二维码向我转账 受苹果公司新规定影响，微信 iOS 版的赞赏功能被关闭，可通过二维码转账支持公众号。 Scan QR Code via WeChat to follow Official Account