一个来自武林的类比 论文故事-深度学习的几个猜想，关于文化与认知

        Yoshua Bengio的这篇”Evolving Culture vs Local Minima“ 是一篇很容易被人误解的文章，其中跨界的思考固然引人入胜，但更值得学习的是其文章中表现出的谦逊，文章的开头第一句话是：We propose a theory that relates difficulty of learn-ing in deep architectures to culture and language.    这里的theory很容易让人们以为文中的理论是坚不可摧的，然而，这篇文章的关键字是 Hypothesis. 猜想，这其实是一切理论的本质，在一个理论还没有被证实之前，其不过是等待验证的猜想，有了证据，一项猜想的可行度就增一分。这一点是值得被铭记的，每一个跨界思考，产生的都只会是猜想。

        接着是说说这篇文章的conclusion。很多的文章的conclusion，只是在总结自己做了什么，而这篇文章主要在写还需要做什么，才能证实书中的猜想，这里体现了好的科学理论的另一个特点，可证伪性，理论是廉价的，证实或者证伪一项理论却一定会是艰苦的。我们接触各种跨界的理论，只是为了让我们在日常生活的观察中，能够将某些看似平常的事用来证伪或证佐证我们之前接触的猜想，从而获得属于自己的智慧。

        接着说说该怎么做科普，这篇文章的讲法，可以是很专业的去一段一段的去解读，但我觉得科普的作用相当于“师傅引进门”的过程。科普只负责有趣，只负责吸引人去阅读原文，只要其没有明显的科学性的错误，尽可以异想天开。所以这里我的解读是一次冒险，可能的误解包括“量子佛学”这种可笑的chimera，参考说说罗辑思维中的chimera。所以在开始解读之前，我需要再重复一遍，好的科普只负责引起读者的好奇心，吸引他去看原文。

       这篇文章中的第一个要点，是local minimum，既然是要来自武侠的类比，那么看官要的类比来了，神雕侠侣的40回，一群跳梁小丑在东施效颦的搞“华山论剑”，被杨过的长啸赶走，但金庸很快就引入了九阳真经，这里所谓的山外有山，就是local minimum，你以为你已经达到了“武学”的顶峰，但你所到的不过是一个局部的最优解。

        接着说书中的另一个概念，high abstraction，We call high-level abstraction the kind of concept or feature that could be computed efficiently only through a deep structure in the brain .这里想举的例子在武侠中也有很多，最典型的是张三丰教无忌太极拳，问他还有几招没有忘掉，这里背后的道理就是这里需要的学习必须出现在更高的抽象层次上，如同一个只能看到直线，直角等视觉元素的人，是肯定无法欣赏油画的，无忌学到的太极拳，是无法用一招一式的组合来涵盖的，这样的具有高抽象度的概念，是难以学习的，这也是这篇文章的核心观点和论述主线。

        A single human learner is unlikely to dis-cover high-level abstractions by chance because these are represented by a deep sub-network in the brain.这篇文章接着得出的第一个结论，其实不令人意外，既然每个人都会不可避免的面对局部最优的困扰，那么就如同没有免费的午餐一样，也不会有轻松的顿悟，所有的巧妙的总结或是比喻，都可以看成是一种high-level abstraction，无论是苯环的结构，还是梦中吟诗，其背后都是长时间的思考与观察。

        这里作者接下来说道，这个苦难只对单个人是这样的，也不排除某些高级的抽象概念被进化写进了我们的基因，使我们能轻易明白这些观点。这也将引入接下来的观点。

        要走出局部最优，一个办法是先走一段下坡路，之后才能登上更Labeled Examples as Hints高的山峰。比如杨过失去了拿剑的右手，这对他是一个打击，但若他一生的武功都只是拿着长剑，那么他就无法达到他后来的成就。对于杨过，失去右手，是走出局部最优的第一步。而接下来，是需要有人去给出指导，这里的指导，是一种解释，而解释，用机器学习的观点来看，是hidden variable。这里便会引入这篇文章最关键的假设Guided Learning Hypothesis. A human brain can learn high-level abstractions if guided by the signals produced by other humans, which act as hints or indirect supervision for these high-level abstractions.

        这里对应的是交流思想的重要性，这点可以参考从宋人有为不龟手之药说说交换的价值，作者列出了几种交换的方式，包括Labeled Examples as Hints，比如将常用的剑招命名，来降低信息的信噪比；Language for Supervised Training，这里可以看成是杨过跟独孤求败隔代学艺的故事，无论是练习的方法，还是要学习的高抽象概念，都是有指导的有例子的。

        接下来的一种通过交流来学习的方式是Learning by Predicting the Linguistic Output of Other Agents，作者觉得例子是科学家通过严谨的论述，完备的研究方法来通过实验证实假说，从而使科学共同体接受某一概念。而这里的对应在武侠世界的例子是杨过在华山顶看到的洪七公和欧阳锋的比武，两人通过对招式的描述，来试图说服对方，而在这个过程中的旁观者杨过从中收益颇多。其实人类社会的进步很多也是类似形式的，如何更有效的让linguistic output产生更多的认知盈余，是评价一个时代，一个国家制度好坏的标准之一。

        接下来的一种学习是Language to Evoke Training Examples
at Will，作者说到，你不必处在危险的环境下，但你可以通过语言来明白危险的含义。就如同张三丰在初学九阳时不懂得后发先至的道理，他只是记住了这个概念，而后在之后的实践中去加深了对这一概念的理解。交流可以让我们将之前视为噪音的例子看成是有用的训练数据，从而在我们交流的带宽很低时能表达很多言外之意。

        接着就到了meme，也就是迷因进化的部分了。迷因，就如同剑招，是一个可以传播的观念，是不断要被copy，不断经过修改的，也不断被重新组合的最小可分割单位。作者说道重组可以使好的迷因组合呈现出比其信息上的父母都要好的特性，这一点放到武林中更好理解，一个人学了两派的剑招，就有一定概率组合形成更强的剑法，不过可不一定总是这样的哦。这引入了这篇文章给出的对于个人学习的固有困难的解决方案 Memes Divide-and-Conquer Hypothesis. Language, individual learning, and the recombination of memes constitute an efficient evolutionary recombination operator, and this gives rise to rapid search in the space of memes, that helps humans build up better high-level internal representations of their world.

        最后，作者在这篇文章中给出了新观点从何而来，两个关三词是随机，模仿和组合。随机，指的是我们要持续性的阅读不同文化，不同领域的研究成果，因为我们很可能如同开篇的在华山论剑的小丑，陷入局部最优而不自知。模仿，是要在多将其他领域的方法用到自己从事的行业，自己观察到的生活中。模仿的目的不是为了生搬硬套，而是产生新的组合，然后在实践中去检验这套新组合。

        风清扬道：“活学活使，只是第一步。要做到出手无招，那才真是踏入了高手的境界。你说‘各招浑成，敌人便无法可破’，这句话还只说对了一小半。不是‘浑成’，而是根本无招。所谓无招，就是学会了更高的抽象层次的概念，就是超越了前人总结的捷径。这是人类智慧的体现，也是每一个想要成功的人都躲不开的一步。

 更多阅读