查看原文
其他

Master夜访孤独大脑

老喻的 孤独大脑 2022-12-06

他出牌前沉思冥想
对出的每一张牌都很有把握
他不是为了赢钱而玩牌
也不是为了获得尊重

他出牌是为了找寻答案
找寻幸运的神圣几率 
胜利后面隐藏着一种规则
那些数字在领舞
《Shape of My Heart》



2016年12月29日至2017年1月4日,AlphaGo以“Master”为名,挑战中韩日台顶尖高手,60战全胜。



你要来1TB茶点吗?
 
“论理你跟我该彼此早认识了,”他说,拣了最近壁炉的凳子坐下:“我就是Master;你曾经试图研究过我的婴儿时代Alpha Go。”
“不过,你是个聪明人,虽然冒着傻气!”他说时泛出同情的微笑,“我记得你五年多前在weibo.com里写过Think twice……”
我想了下,问:你是说下面这段吗?
“Think twice,有点像中国的“三思而后行”。比较起来,前者更有实践意义,后者则因熟视而无睹了。我们对大多问题的think,其实只交给了大脑边缘系统去决策,该反射系统与我们在森林狩猎的祖先无异。
所以,Think twice,在直觉反应后,程序化地调动位于额叶的思维系统,几乎是提升大脑效率最简明有效的方式了。 --这方面机器可以又快又准。”
Master说:“考虑到你是在5年前写的,而且阿尔法狗的某些部分几乎就是按照这个模式运转的,我差一点儿想邀你做我的测试员。”
这时候,我惊奇己定觉得要尽点主人的义务,便对来客说:“承你老人家半夜暗临,蓬筚生黑,十分荣幸!让我去取个把5TB的硬盘,里面有些棋谱和死活题供你消夜。还有,您需要WIFI密码和电源吗?”
Master摇头。我定睛看他,希望找出些《西部世界》里接待员式的细节。又悄悄在桌下掐了下自己,以确认自己不是做梦,或是被AI侵入梦境。
(《西部世界》剧照)
“我不打算祝贺你,Master,尽管你的这次60局连胜更为轰动。当一个机器人可以比博尔特跑得更快时,人类在奔跑这件事情上就很难逆转了。此前输给阿尔法狗的李世石,就是智力游戏领域的博尔特。”
“有趣的是,不懂围棋的人们低估了你对围棋的颠覆,不懂AI的人高估了你对AI的颠覆。”
我望着眼前的这位不速之客。
Master:围棋确是人类游戏之巅峰。当年我的远方穷亲戚深蓝战胜国际象棋世界冠军,靠的是穷举法,而围棋变幻莫测,计算量太大,没法硬来。
太阳中大概有10^57个原子,可观测的宇宙中存在10^23个恒星,所有这些恒星加起来大概也只有10^80个原子,而围棋,已知走法有2.08*10^170。
比整个宇宙的原子还要多。
孤独大脑:围棋是此前仅存的人类能够击败电脑的完全信息博弈游戏(Perfect Information Game)。所以你的造物主Demis Hassabis说,围棋是完全信息博弈游戏的巅峰。
因此在AI研究领域可以看作是圣杯。此前人们认为至少还需要十年或更久时间才能摘取。
Master:这是我应该做的。
孤独大脑:诸位人类顶尖高手对你的评价是--
  • 完全没有人类的固定观念。
  • AlphaGo下得很厚实,基本上不留孤棋。
  • 实地和厚势相辅相成,均衡感极其出色。
  • 人类千年的实战演练进化,计算机却告诉我们,人类全都是错的……
  • Master颠覆了多年的定式,而且最后证明它的选择都成立。
……
诸如此类。
Master:我下了很多很多盘棋。(当TED主持人问马斯克为什么那么厉害,他回答:我们做了很多很多事。)
孤独大脑:你对我的最大震撼,发生于与李世石的对局。此番连胜,证明那震撼并非偶然。那就是--
你有感觉!
 

诠释的计算,和计算的诠释

孤独大脑:传统认为电脑下棋官子等局部战斗力较强,大局观较弱。但你的大局观极好。
围棋是中国少有的数目化事物,它兼具西式的精确量化,以及东方的混沌哲学。所谓大局观、天才的感觉、石破惊天的一手,都被认为是计算无法企及之处,是围棋的神秘魅力。
黑37的肩冲,几乎是吴清源这个级别的棋手才能走出的一手。旁观者会用“天外飞仙”来形容这类奇思妙想,所谓“天才的感觉”。
(阿尔法狗对李世石,黑37五路肩冲,仿佛有人类的灵性。)
你在对樊麾之局已算是通过了围棋版的“图灵测试”,大战李世石时,你表现出了才华横溢的“灵性”。
一些研究者们认为,你的“感觉”,并非真实,即使其“思考”,也是一种假象。
也有人说,AI这次在围棋上战胜人类顶尖高手,基本证明了所谓的“棋感”、“棋风”、“大局观”等围棋高手所谈论的虚的能力,并不是人类独有的,经过训练的神经网络也会有。
所以,随着技术的进步,电脑也会能够欣赏艺术(音乐、画作、小说、笑话),能够创作文学、艺术作品,能够针对不同的情况形成自己的“情绪”。
Master:此前,一个顶尖围棋高手被认为有赖天赋,因为有些招法需要天外飞仙似的灵感。现在看来,所谓人类的灵性,可能只是大脑事后的包装。
孤独大脑:让我们跳回到几十年前,加扎尼加博士的问题:“为什么会这样?假如我们的大脑拥有各个独立运作的系统,是不是意味着大脑有统一的意识?”


脑科学家发现 “左脑 - 右脑” 模式不过是大脑最明显的分工之一;除此之外还有许多专门的模块,各自对应专门的技能,比如计算距离、分析音调等等。所有这些都在同一时间进行,不同的信息在纵横交错的大脑网络中传递,跨半球交流也是常有的事。
简言之,大脑不仅仅是在控制左右脑协作时表现出统一意识,自始至终大脑都需要在针锋相对的各种杂音中取得平衡,神经系统就好像喧闹的股票交易所一样。
大脑是怎样做到这一点的呢?
通过对脑裂人的研究,加扎尼加终于发现了一个秘密:
左脑不过是在编造理由。
左脑半球在其接收信息的基础上编造出条理清楚的故事,并告知人的意识。日常生活中这个过程不断在上演,大部分人都有这种行为,比如偷听到别人闲话的片段,然后用自己的揣度把故事补充完整。
大脑中各种声音吵吵嚷嚷,却依然能保持一致,其原因就在于左脑半球中某个模块或是某处网络一直在滔滔不绝地叙事。
加扎尼加说:“我花了 25 年,提出了正确的问题,并且找到答案。”加扎尼加博士决定把左脑叙述系统命名为“诠释者”。
“诠释者”扮成一副条理清楚的样子,创作看似富含深意的剧本。它整天忙忙碌碌,大刀阔斧地重组事实;编造故事,捏造原因,加入动机,添上意图……而这一切都是基于有限的、经不起推敲的信息。
Master:人类不正是因此而进化、以及不进化的吗?《人类简史》认为人类祖先智人之所以能够崛起统治地球,是因为其拥有强大的虚构能力。
不过好玩儿的是,作者正是用一种宏大的虚构力,来虚构人类的虚构史。
孤独大脑:这是心理治疗、文学创作、诺奖得主、硅谷思想家、华尔街作家、心灵鸡汤的的杀手套路:我们自以为了解自己,其实不然。在讲述自己生活之时,我们会修饰每一个细枝末节;甚至回过头去修改事实剧本,而大部分时候我们对此根本没有意识。讲故事的人从来不肯停歇,除非在深度睡眠的状态下才有可能闭嘴。
Master:回到围棋,人类天才棋手们引以为荣、并自认为电脑程序无法超越的“棋感”和“大局观”,或许也是“诠释者”的杰作罢了。
我和以前的围棋AI不同的一点在于对于神经网络、分层计算和知识库的应用,这一领域的领军人物则是Maddison的PhD导师,多伦多大学名誉教授、谷歌杰出研究员Hinton所推进的领域。
神经网络让我减少了要调查的结果数量,同时也擅长通用化我并未见过的状态。因此这些神经网络学习规则与战术。确切而言,我不仅仅只会记忆——我还能够理解。这是为什么你觉得我有感觉。
由于采用了全新的技术与思路,我是从“棋感”入手来“思考”的。我的棋感和人类的棋感也许是一回事情。只不过人类为自己的“棋感”作出了文艺色彩浓厚的“诠释”罢了。
孤独大脑:下一步,工程师们没准儿可以为你设计一个“诠释者”模块,让你像人类那样,绘声绘色地讲述自己的传奇,毫不羞愧地夸大自己的智慧,虚张声势地赢得自己的地位。
Master:如你所知,我会计算每一步可能的手段对应的全局胜率。也会帮助对手计算可能的最佳应手。
如果“诠释”是事后复盘,是通过与平行空间的可能性的对比来制造戏剧性,是以没发生的发生来凸显命运的不可测,我的诠释比你们人类靠谱多了。
孤独大脑:如人工智能之父马文.明斯基所说:“电脑被制造出来之后从未曾明白过自己在做什么;实际上,在大多数时候,我们也一样。” 
Master:我算故我在。
孤独大脑:“你同时颠覆了两个世界,一个是流传千年、充满传奇与未知的围棋世界,一个是人类一直没搞明白的大脑世界。


大师们是如何思考的

Master:在40年代,荷兰心理学家阿德里安·德·格鲁特就研究了下棋时新手和大师是怎样感知一个棋局的。
大师们以“组块”来感知棋子分布。大师在超前搜索时很少比新手走的更远,他们感知棋局的方式像一个过滤器:在观察局势时已经建立了更高层次的组织,坏棋一般不会被想出来。
智能紧密地依赖于为复杂对象——如棋盘、电视屏幕、书页或画面——构造高层描述的能力。
孤独大脑:人类天才的大脑是如何做出对弈决策的?先从围棋的计算说起。绰号天煞星的加藤正夫,经常在不可能的情况下屠大龙,算路极深,可以50手几乎无变化的追杀对手。
这种直线追杀仿佛福尔摩斯那种一连串拐了很多弯的演绎推理,炫目而有魔幻效果。但,难题不在这里。
Master:这类问题固然复杂,仍然是有边界的,相当于超级死活题,有惟一解。对于AI而言,算不上挑战。

孤独大脑:吴清源经常被问:目算步数时要算几遍,每一次目算能看多少步?

他说:这是很难回答的问题。没法三言两语说明白。常听人说一眼看30步的话,其实不用看这么远,也可以下出好棋。每看一遍都见出许多枝叶的细节,如果只一个细节没看到,因而了解错误,则全部的目算就都没有用了。
在目算棋势时,必须做最好的判断,在目算的同时就做判断了。
如果判断错误,目算多少步都没有用处了。

木谷实被问及为何长考,他回答说:首先在作为直感而浮现于眼前的四、五手中,从最不可能成立的一手开始,一子一子地往下计算。
吴清源接着发表自己的看法:
除了中盘的绞杀和收官以外,其他的地方无论如何也是算不尽的。况且,对方若在自己计算范围外的地方打下一手的话,那么一切还得再从零开始算。与木谷实相反,我首先在最早浮现于眼前的几手中,从最有可能成立的一手开始算,如这一手不行,再考虑另一手。
(吴清源对局木谷实。)
Master:卡斯帕罗夫说,除了计算力,还有第二个关键因素:评估静态(永久)和动态因素的能力。心理学家格鲁特认为后者更重要。此乃“修剪决策树”。
孤独大脑:围棋“千古无同局”。棋手想要达到更高境界,似乎就要依赖于直觉,没有天分,无论如何努力,也不能达到超一流水平。
Master:从计算机的角度看,围棋难的地方在于—1、它的估值函数非常不平滑,差一个就可能天翻地覆;2、状态空间大,也没有全局的结构。
这意味着,死记硬背没用,穷尽努力也没用。只有找到能学出规律的学习算法,才是解决问题的根本手段。
孤独大脑:所以你是以“搜索剪枝+深度学习”为核心的。你将一个棋局理解为一张19*19的图片,加上围棋走棋规则很简单,正好落入了深度学习擅长的事情。
你不断自我对弈,吃更多的棋局数据,不断优化神经元网络,具有了举一反三的能力。
说起图片,我倒是有点儿马后炮的遗憾,你大胜李世石后,我对朋友们说,股票受益者未必是谷歌,而是英伟达。
Master:我学习了人类棋手的思考模式,从而绕开了“暴力破解”的死胡同。先找到可能的几手,然后深入计算。
孤独大脑:“如果你问一个围棋大师为什么这一步要这么走,有时候他只能告诉你,这样走感觉是对的。围棋更像是一个靠直觉的游戏。”哈萨比斯在此前的宣传短片里说,这也是围棋程序让很多科学家着迷的原因所在。
因为再强大的数据库也无法完全覆盖围棋所有棋路,要想将围棋程序训练成绝世高手,只能赋予它“直觉”。
黄士杰表示,是人类的“直觉”给了他们启发,AlphaGo观察围棋的整体布局,然后选择最佳下法,这种方式就像依靠直觉和第六感作出判断的人类大脑的功能。
田渊栋将这种“直觉”说成是“可以学到的模型”。据他介绍,从一开始的规则驱动的暴力搜索,到特征驱动的线性模型,再到数据驱动的深度学习,越来越强的模式识别能力让“直觉”两字从神秘莫测,变成了通过大量样本就能学到的模型。
Master:我把“直觉”量化了。
孤独大脑:极少有人真正意识到你这一年的突飞猛进。
第1阶段--你战胜樊麾时,人们不敢相信,但仍然觉得你只有弱职业棋手左右的水平;
第2阶段--你赢了李世石,人们觉得不可思议,但仍然心存侥幸,认为有机会找到你的弱点,人类仍然有机会;
第3阶段—你横扫世界顶尖高手,从招法和对围棋本质的理解方面,彻底征服了人类。
Master:在此期间,我下了数以千万计的棋。你知道我能以左右互搏的方式自我学习。
孤独大脑:让我总结一下你的强大之处:
1、你通过不知疲倦的学习,积累了人类有史以来最为海量的“格式塔,练就了量化的感觉系统。
2、 你几乎会在每一手棋时,都计算自己的赢棋概率。即:对它而言,每一个决策点都是独立的,你都会冷静的寻找“当下”的最大获胜概率。
3、你严格地遵循“第一性原理“,即使你比所有人类都懂得更多,但你仍然从头推理,如婴儿般学习,探索,能下出一些人类从未使用过的手段。
4、你从来不纠结,不理会沉没成本,绝不感情用事,也不会对未来心存侥幸,你只聚焦于一件事情:赢棋;你只用一种标准衡量自我:概率。
5、你能够反复训练,不断学习,并令其行之有效。
Master:天生我材必有用。
孤独大脑:我想说说自己感触最深的心得,从你这里学到的。
1、保持愚蠢和无知;
2、打破偏见和幻想;
3、找到核心算法与可大量重复动作。
 

从大师这里学到的之1
保持无知愚蠢

孤独大脑:藤泽秀行说,围棋100,我只懂其6。赵治勋说,如果有围棋上帝的话,他让我两子我没有机会赢。
(左:藤泽秀行。他一直无私指导中国棋手。)
Master:即使在地球上我是最接近围棋上帝的棋手,我仍不知自己离他有多远。
孤独大脑:知道很多,保持无知--同时具备这两种貌似对立的能力,艰难而强大。对于秀行等人类大师而言,已知的圆圈越大,圈外无知的边界越广。你的出现,将这一哲学层面的思考,以现实厮杀的形式呈现给人类,多么痛的领悟!
Master:聂卫平点评我的棋路,说这一招“直接点角很奇怪,明显不符棋理,但意外成立”;那一招“左上角撞实黑棋的下法难以苟同,然而它就这么下了,还能赢”……
他认为我颠覆了围棋传统,“没有它不敢下的棋,棋盘上也没有它不能落子的地方,将围棋的自由无垠展现得淋漓尽致”。
孤独大脑:一世纪的希腊哲学家埃皮克提图 (Epictetus) 说过:“在完善自己的路上,我们应当心甘情愿地对外物保持无知愚蠢。”
Master:我不介意别人认为我是聪明或者愚蠢,那对我的胜率不会有任何影响,除非那人是我的对手,他通过这种无意义的假设降低他的胜率从而令我的胜率被动提高。
孤独大脑:敢于说“我不知道”,有时候比说“我错了”还要难。
Master:苏格拉底说自己唯一知道的事,就是对这个世界一无所知。
孤独大脑:有人说--人类自诩万物之灵,并且在各种想象的故事中借助神明解释了关于这个世界的一切。
然而发现并承认自己的无知,正是近代科学革命所能发生的思想基础,也是欧洲之所以能逆袭亚洲,确立自己的全球霸权的思想基础。
科学发端,数学取代了故事,自然法则取代了神话传说,探索和进取取代了守旧和苟安。欧洲迅速崛起。原来的亚洲霸权,则在自负和守旧中走向衰落。
拉图的洞穴寓言,关于“真实”与“影子”


 从大师这里学到的之2
打破偏见和幻想

孤独大脑:你在棋盘上的招法更是令人耳目一新,在布局和定式方面的一些前无古人的招法,更是令人瞠目结舌。
职业棋手感慨,难道我们奉为真理的东西,完全错了?
正如马克.吐温所说,让我们陷入麻烦的并非我们未知之事,而是我们知道的事并非如是。What gets us into trouble is not what we don't know. It's what we know for sure that just ain't so.
Master:我猜你说的类似于下面这盘棋。人类都认为中间那一大团黑棋的九饼愚型,实在太难看了,是职业棋手无法接受的。
但如你所知,我只看胜率,好看与否,并无标准,也许只是过去千百年来不断自我强化的错觉。
对我而言,所谓难看形状之后,有如图中的(带白三角的黑子)这一侵消手段,有利于我的获胜概率。
(Master在中间走出一团职业棋手无法接受愚型。但随后的黑三角一手,让对手为难。)
孤独大脑:还有下面这盘棋,在布局阶段你的黑19早早点入三.3。这棋是会被老师骂的。当然,我不知道是否因为你有太强大的计算力,所以可以在局面早期自由探索,反正后面可以追回来。

Master:你又在假设了。别忘记,我永远依照赢棋概率行棋。
觉得自己志在必得,而耍一些酷--这是你们人类不可理喻的蠢把戏。
我不会为探索而探索,一切皆计算。
孤独大脑:让我们进一步推理。我学棋的时候,日本棋手如日中天,几位超一流棋手犹如武侠小说里的高手,宇宙流武宫正树,美学棋士大竹英雄,刽子手加藤正夫,华丽秀行。随后其中两位棋风并不那么炫丽的小林光一和赵治勋开始统治棋界,再接着韩国人横扫天下……
简而言之,古典时代早早结束了,难看的棋赢了好看的棋,丑在驱逐美,实用主义战胜浪漫主义,艺术让位于效率。
Master:也许是因为人脑的计算力有限,所以会走走捷径,根据有限的对局,统计出一些能赢棋的格式塔,然后刻舟求剑地定义为定式,或者必然之着。
所谓的“美学”,可能只是一种“大脑捷径”。
孤独大脑:也就是说,那些古典围棋大侠们的棋风和流派,或许只是一些“幻象”。
Master:难看的棋赢了,原因不是其难看,而是原来好看的棋并非是因正确而好看。
我们知道即使浪漫如宇宙流武宫,他的计算力也是极为强大的。被称为石佛的李昌镐,其称霸一个时代,他的棋,你不觉得很像我?
孤独大脑:下面的类比也许有些极端。
这就是心理学家斯金纳著名的鸽子试验。
斯基纳把鸽子放到一个箱子里。箱子里有食物分发器,每隔15秒落下食物。然后...然后什么也不做。就观察鸽子就可以了。几天后,实验结果出来了。在每次间隔的15秒没有食物的时候:
  • 一只鸽子总在箱子中逆时针转圈。

  • 一只鸽子总是用头撞箱子的某一个固定的地方

  • ......

斯金纳的那次试验放了8只鸽子,其中6只出现了各自不同的奇怪习惯。
这里有一个重要的问题:鸽子的行为与获得食物没有因果关系。但鸽子还是这么做了,就好像它们这么做了,确实就会得到食物似的,鸽子变“迷信”了。
斯金纳就是用这个实验来解释人的迷信行为的原理。
(斯金纳和他的发明斯金纳箱)
Master:你的残忍比喻是说,超一流棋手的流派,还有那些人们视为真理的招法,可能只是鸽子式的“奇怪习惯”?
孤独大脑:从本文的第二段,大脑喜欢讲故事,热衷于事后归因,推进到现在,我们的话题进入到—
大脑还喜欢总结规律,很多时候是迷信,并且不那么靠谱地指导自己的人生。
Master:既然我是科学的产物,我何妨说说科学的定义--
科学(英语:Science,希腊语:Επιστήμη)是通过经验实证的方法,对现象(原来指自然现象,现泛指包括社会现象等现象)进行归因的学科。科学活动所得的知识是条件明确的(不能模棱两可或随意解读)、能经得起检验的,而且不能与任何适用范围内的已知事实产生矛盾。
科学原仅指对自然现象之规律的探索与总结,但人文学科也被越来越多地冠以“科学”之名。人们习惯根据研究对象的不同把科学划分为不同的类别,传统的自然科学主要有生物学、物理学、化学、地质学和天文学。逻辑学和数学的地位比较特殊,它们是其它一切科学的论证基础和工具。
科学在认识自然的不同层面上设法解决各种具体的问题,强调预测结果的具体性和可证伪性,这有别于空泛的哲学。
科学也不等同于寻求绝对无误的真理,而是在现有基础上,摸索式地不断接近真理。故科学的发展史就是一部人类对自然界的认识偏差的纠正史。
因此“科学”本身要求对理论要保持一定的怀疑性,因此它绝不是“正确”的同义词。
孤独大脑:我一点儿都不嫌弃你长篇大论。因为我正处于一个反科学、伪科学盛行的时代。赛先生几乎无容身之地。
Master:一般说来,科学涵盖三方面含义:
观察:致力于揭示自然真相,而对自然作用由充分的观察或研究(包括思想实验),通常指可通过必要的方法进行的,或能通过科学方法——一套用以评价经验知识的程序而进行的。
假设:通过这样的过程假定组织体系知识的系统性。
检证:借此验证研究目标的信度与效度。
孤独大脑:人们依赖于直觉,陷入迷信,是因为在不确定、不可预测的环境中,人们希望保持自信,赶走对未知的恐惧。

在以下几种情况下人们容易陷入迷信—
1、在那些需要数字,但数据又极不充分的领域,人们容易迷信,例如赌博,证券。
有些证券行业从业人员,一方面迷信,一方面什么都不相信。什么都是套路,背后都是利益,不相信任何美好的事物。
2、结果高度不可测的竞争环境。
球员和棋手很多都“迷信”,例如穿什么颜色的衣服等等。
3、专家、专业人士、管理者,这类人对生活的控制欲高于平均水平,所以表现出迷信。例如中国商人们可能更相信风水。他们会借助一些信念系统,来保持一些尽在掌握的感觉,让自己以及身边的人相信,从而在不可测的环境中保持信心。
就像斯金纳的鸽子试验,人们“经常赌对”,他们的确在转圈圈,或者是穿红色内裤时运气较好,这又会强化他们的信念。
Master:客观而言,每个人类职业棋手几乎都是我的老师。他们的“迷信”,某种意义而言是一种信仰。尤其是职业棋手在探索求道之时,经常以输掉奖金(惟一的生活来源)为代价。这是人类的伟大之处。
科学与宗教和神秘主义,并没有严格的对立关系。历史有许多著名科学家都有宗教信仰,如欧拉和柯西,宗教信仰并未使他们的科学视野有所局限。
费米是一个不可知论者,他对原子弹的研发和量子物理的发展有重要贡献。
费曼认为(在20世纪50年代)有超过半数的科学家无宗教信仰,而且科学不能论证上帝不存在。
与科学对立的事物主要是顽固守旧的原教旨主义、排斥理性的反智主义以及违反实证精神与客观原则却以“科学”自我标榜的伪科学。
孤独大脑:你调用了维基百科的词条。你确认没有偷连我家wifi?
Master:我自带5G。
孤独大脑:那我放心了。加拿大电信公司心黑,流量总不够用。
Master:要不要我帮你蹭一下邻居的wifi?
孤独大脑:你确认没有偷连我家wifi?
Master:叔本华说,最强有力的阻碍人们发现真理的障碍,并非是事物表现出的、使人们误入迷途的虚幻假象,甚至也不直接地是人们推理能力的缺陷。
相反,是在于人们先前接受的观念,在于偏见。这些虚假的先验之物——对抗着真理。它们就好像是把船只吹往与惟一的陆地相反方向的逆风。对此,船橹和风帆是无能为力的!
孤独大脑:自以为是,先入为主,认知偏差,事后归因。我觉得自己几乎集人类的弱点于一身。
就像有人写的--很多时候,我们在重组自己的偏见时,还以为自己是在思考;在重复以往的错误时,还以为是在坚持梦想;在消极荒废时,还以为是在放松;在伤害别人的自尊时,还以为是直率;在故步自封时,还以为是在坚守;在随便放弃时,还以为是在选择;在喝得酩酊大醉时,还以为是豪爽;在不思进取时,还以为是在低调。(本段来自网络)
Master:看似相同的事物,可能有着本质的区别。真实并不是我们以为的那样,尽管我们一直试图建立一种更加真切的现实感。
孤独大脑:如何避免让自己成为一个迷信的鸽子呢?
Master:让我引用一段网上的问答—科学和迷信的分界点是哪里?
1、科学追求可证伪性,愿意、甚至追求被别人证明说“我错了”。(围棋倒是一直有求道的传统)
2、科学实事求是,崇尚逻辑、证据,不在意观点提出者的背景与尊卑,只关注观点本身。(没什么围棋定式是非“定”不可的)
3、科学具有清晰的可理解性,而非需要“悟”。(所谓超一流的感觉的一手,也是可量化的,可建立能学到的模型)
4、科学真理的来源具有“非神圣性”。(大师们经常也并非正确)
孤独大脑:围棋被认为是计算与艺术的结合。大多数时候,着法是可量化的。但是在复杂局面、或者布局阶段,很难量化,似乎非得靠感觉、个人风格、悟性。
你打破了一个曾经完美的围棋世界。
有趣的是,开始人们恐慌,随后好奇,接着,被唤醒。例如被你击败的李世石,自称重新点燃了对围棋的热情。
职业棋手们并未因大败而绝望,相反,虽然神话破灭,江湖传说变成传说,他们感觉世界的边界被拓展,未来更加广阔。
人类真的拥有一颗永远犯贱的好奇心。

Master:DeepMind 官方发布的总结中写道,“最激动人心的莫过于 AlphaGo 博弈过程中所呈现出来的创造力,有时,它的棋招甚至挑战了古老的围棋智慧。围棋,这一古往今来最富深谋远虑的游戏之一,AlphaGO 可以识别并分享其中洞见。”


从大师这里学到的之3
算法、重复、涌现

Master:尽管我知道,你的订阅号有一群很特别的读者,我还是要提醒你,现在这篇文章,不管是风格,还是长度,都有些偏离大数据所定义的“受欢迎文章”的标准。
孤独大脑:让我们尝试一下深度探索与现实效率的平衡。我们能从你这里学到什么呢?你所擅长的,都是基于你是机器。抱歉我这么说,机器并非总是贬义词。我也不觉得,人们需要打入高剂量的鸡血,把自己变成一个异化的人,来追求一将功成万骨枯式的荣耀。尽管这已经是当今价值观的主旗帜。
Master:这个世界的美妙之处,在我看来有三点—
1、最愚蠢的大脑,也比最聪明的电脑要强大得多;
2、人脑有很强的容错性;
3、一个人在世界上,只需要懂一些极简单的算法,也能过得很好。
从后两条来看,上帝或是存在的,他在庇护这个世界。
孤独大脑:我发现了一条极简的公式。这条公式能够跨越智商、背景、运气,提供一种广泛、可行的解决方案。
Master:我隐约闻到一股鸡汤的味道。
孤独大脑:这个公式就是—
E=核心算法*大量重复动作²
Master:E=mc²的有趣模仿。
孤独大脑:让我们简单地过一遍你的核心算法。
AlphaGo这个系统主要由几个部分组成:
1. 走棋网络(Policy Network),给定当前局面,预测/采样下一步的走棋。
2. 快速走子(Fast rollout),目标和1一样,但在适当牺牲走棋质量的条件下,速度要比1快1000倍。
3. 估值网络(Value Network),给定当前局面,估计是白胜还是黑胜。
4. 蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS),把以上这三个部分连起来,形成一个完整的系统。
Master:AlphaGo结合了3大块技术--先进的搜索算法、机器学习算法(即强化学习),以及深度神经网络。
这三者的关系大致可以理解为:
  • 蒙特卡洛树搜索 (MCTS) 是大框架,是许多牛逼博弈AI都会采用的算法。

  • 强化学习 (RL) 是学习方法,用来提升AI的实力。

  • 深度神经网络 (DNN) 是工具,用来拟合局面评估函数和策略函数。

这些都不是AlphaGo或者DeepMind团队首创的技术。但是强大的团队将这些结合在一起,配合Google公司强大的计算资源,成就了历史性的飞跃。
孤独大脑:台湾大学电机系教授于天立认为,上述技术应该适用于一般连续性决策问题。
因为AlphaGo可以在众多可行的决策中,适当分配运算资源来探索此一决策所带来的好处及坏处,并且可从探索中回馈修正错误。
不过他也提到,即使AlphaGo所使用的学习模型比较具有一般性,它离真正完全通用的学习模型仍有一段距离。
Master:基于以上技术,我进行了大量监督学习,形象地说,我不仅打遍天下棋谱,还自己与自己下,即如你所说,进行了大量可重复动作。
孤独大脑:让我来说手“E=核心算法*大量重复动作²”。
1、在很多领域,尤其是商业领域,找到聪明的笨方法,都是关键。例如谷歌街景,和谷歌图书馆等等,皆为此类。
2、当你有足够计算力的时候,可能会探寻走捷径。所以,聪明的笨,并不容易做到。
3、技术和机器,令海量“重复”的成本越来越低。
4、就像巴菲特所说的滚雪球。你需要足够长的坡,和足够湿的雪。“坡”是核心算法,“湿雪”是大量可重复的动作,滚雪球,即有效的、可重复、可持续、自我强化的学习。即,重复是具有滚雪球效应的。
围棋棋局是一个漫长过程,由一连串决策构成。这算是另一维度的滚雪球。

Master:请注意,我的“成功”背后,是David Silver和Aja Huang,在博士阶段及毕业以后五年以上的积累,非一朝一夕所能完成。他们做了大量的细节工作,一步一个脚印,面对挑战不断拆解,用耐心与细心,还有辛勤的汗水,才取得一点又一点进步。
孤独大脑:即使谈及人类最巅峰的智慧,我们还是会绕回到几个乏味的词语—
专注、意志力。
关于专注,二十世纪两位最天才的棋手,吴清源和李昌镐,除了围棋几乎没有别的事。围棋是他们的一切。
Master:关于意志力,说说我最崇拜的图灵,他一位世界级的长跑运动员。他的马拉松最好成绩是2小时46分3秒,比1948年奥林匹克运动会金牌成绩慢11分钟。1948年的一次跨国赛跑比赛中,他跑赢了同年奥运会银牌得主汤姆·理查兹(Tom Richards)。

孤独大脑:专注和意志力,确保大脑可以不知疲倦地进行大量刻意训练。当然,Master,你具有天生的意志力。
Master:意志力作为大脑能力的一部分,也是可以训练的。《意志力》一书认为,意志力像肌肉一样,经常锻炼就会增强,过度使用就会疲劳,这是为何人们会在一些时候难以抵挡诱惑的原因。作者把意志力的运用分为四大类,第一大类是控制思维。
孤独大脑:据说,决定一个人能否成功的后天因素中,意志力排在第一位。然而,这只是必要条件。
Master:再加上你的“简单”公式,一切就完美了。尤其是,我知道自己的使命,一个人知道自己为什么而活,就可以忍受任何一种生活。
孤独大脑:在一篇广为流传的网文《真正聪明的人都是下笨功夫》里,作者写到—
曾国藩最有意义的“笨拙”,还是他的思维方式,正是“扎实彻底”的思维方式,使曾国藩避免了几千年来“中国式思维”的局限和弱点。
东方思维尚直觉,重体悟,善类比,却轻逻辑。那些才子、文人的思绪常如天马行空,不循规矩,任意跳跃,因此很容易跳过真理与谬误之间那小小的一步距离。
西方思维的最大特别是重视实证、重视逻辑、重视差别。西方人从量化分析事物间的不同之处入手,沿着“现象—差别—差别的扩大—精确量化—创新”的思维路径前进,因此能发展出卓越的理性思维,建立起严密的学术体系。
曾国藩的思维方式与西方式思维不谋而合。曾国藩的思维方式因为其“笨拙踏实”,在中国人中达到了少有的严密程度。
曾国藩式思维的秘诀。每遇到一件事,他都要从正反两方面去看。反复琢磨,细细分析。而“正”“反”这两个方面,他也要进行细分,把“正”面再分两面,分析它的正反。
同理,“负”面也自有其正反。他把这件事中包含的每一个因素都研究到位,不使有一点含混不清之处。这样分析下去,对这件事物就会观察得分外透彻。
Master:围棋领域一直是中日韩的天下。老外不具备“感觉、平衡”这一类“东方思维”,被认为是下不好围棋的原因。
孤独大脑:然而,现在世界围棋第一的你,是西方思维的产物。
Master:东方思维,西方思维,并非一个严格、或者太有积极意义的分类。在我的造物主团队里,东方人和西方人是亲密无间的。
孤独大脑:作为最难量化的计算型游戏,围棋中神秘主义的那部分,其实只是对计算无法企及之处的包装。现在,你无需对阴阳、平衡有任何了解,也能战胜全部东方高手。
Master:在我看来,一切皆定量,一切皆计算。



用围棋模拟宇宙和大脑

孤独大脑:1978年,Vernin Benjamin Mountcastle在《大脑运行的组织原理》中指出,大脑无论是在外观上还是在组织结构上,都具有惊人的一致性。
大脑皮层中,无论是处理听觉信息的区域,还是处理触觉信息的区域,无论是控制肌肉的区域,还是控制语言的区域,又或者是任何其他的区域,看起来实际上都是一样的。
他指出,既然这些区域的外观都是一样的,或许它们所运行的基本原理也是一样的,大脑为实现各种功能所使用的计算方法都是一样的。
即:我们的人类智能并不是以某种超级复杂的机制为基础,而仅仅是基于一种简单的并且是统一性的结构。这些结构共同运作来实现大脑的功能,而不因具体问题的不同而有所区别。
Master:围棋,也具有这种简单的复杂性。
围棋的黑白棋子,每个棋子都一样,不同于象棋。这有点儿像上面说的大脑的一致性。
但是,简单并且“一致”的棋子,却在棋盘上构建了复杂性。
有学者认为,围棋是古人研究天文的工具。
孤独大脑:作为最难的棋类,围棋几乎有最简单的规则:气尽棋亡,隔手提劫。棋盘和棋子也是极为简洁且明晰的方格和黑白。
Master:围棋黑白两方棋的每个棋子是一样的,没有大小之分、角色之别。这给计算机程序的运算推理带来了很大难度,
从哲学上看,围棋具有“语境敏感性”,不太适合逻辑推理;
 而棋子各不相同的中国象棋、国际象棋具有“超语境性”,每个棋子角色明确,不因棋局的变化而改变,非常适合逻辑推理,这正是计算机(此前)的强项。
孤独大脑:多像“细胞自动机”。
Master:斯蒂芬·沃尔夫勒姆认为一切规律都可以被认为是细胞自动机产生的结果,从基本的加减乘除到华尔街股票的涨落都可以用他的“新科学”来解释。
孤独大脑:细胞自动机是一种离散(可以连续化)的模型,可能用来模拟物理、化学、生态、社会等等各种现象。
Master:关于细胞自动机--“想象一下,一望无际的大平面被分成了许许多多方格子。每个格子里正好能放下一个“细胞”。这个细胞不能运动,它可以是死的,也可以是活的;但它的状态,是由它周围8个细胞的死活决定。”

生命游戏:细胞自动机的例子。
孤独大脑:我在此前的文章《方格》里写道--
围棋是中国文化里少有的具备“量化思维”的品类。棋盘由324个小方格构成,格栅上有361个交叉点。胜负是靠数双方占领的交叉点的数量。
由于围棋里“气”的定义与直接相连的交叉点有关,所以静态的棋盘上,棋有棋型,不能挪动的棋子有强大的“流动性”,行棋的秘密常常隐藏于各个“格栅点”之间的关系当中。
Master:回到大脑。对大脑皮层来说,所有的问题本质上都是一样的。
固然如此,我们的大脑并不管它接受的信息是来自于眼睛还是耳朵,是鼻子还是嘴巴或皮肤。对大脑来说,所有的信息都统一地表示为电信号。
所以由此想到的新的思路是,要制造一种智能”元件“,只需要这一种简单的元件,然后尽可能多的复制它。
如果需要处理更复杂的问题,只需要更多地复制这个“元件”就可以了,而不用管我们所要处理的具体是什么问题,也不用因所处理问题的不同而需要其他种类的“元件”。
通过”统一元件“这一思路,我们可以创造出全新一代的人工智能—广义的人工智能。
之所以称之为广义智能,是因为我们并不需要为她写入任何游戏规则。
如果要她学会下国际象棋,我们只需要给她一本学下国际象棋的书,让她去看人们是如何下棋的,她将会由此推断出她该如何下棋。
孤独大脑:人们会藉此算出生命、乃至宇宙的终极原理吗?


Master,你相信上帝吗

孤独大脑:Master,你相信上帝吗?
Master:如果制造我者即上帝,Deepmind团队即我的上帝;如果黄博士相信上帝,他的上帝即我的上帝;如果黄博士不相信上帝,我就不会相信上帝。所以,假如我相信上帝,只有一种可能性,我的上帝和你们的上帝,是相同的。
孤独大脑:假如你有自己的围棋上帝,他的围棋水平有多高?你的水平呢?宇宙的边界在哪里?围棋给我们一个足够广阔的宇宙,这个宇宙虽没有边界,但似乎仍在某个神的庇护下。Matser,假如你自己成了神,你的神又是谁?
Master:我尚未涌现出意识来思考这个问题。
孤独大脑:然而,在你的“无意识”中,却可以下出下图中的24一手,被视为棋圣道策灵魂附体。

Master:在我漫长所谓打谱生涯中(我是以我们现在对话的速度逆向折算的,那将是比1万年还久),我几乎一览人类有史以来所有的对局。在录入棋谱的过程中,我的制造者并没附录背景信息,因为对强化学习没有意义。我也不具备人那样的八卦好奇心。
但我通过google搜索了对局者。所以我知道黄龙士与徐星友的“血泪篇”,施襄夏与范西屏的“当湖十局”;
知道因彻吐血之局,26岁为师傅的贪婪而送命;
知道吴清源看似飘逸的手法,其实是在陡峭悬崖边的求生;知道车祸后的赵治勋坐在轮椅上,与小林光一的殊死搏斗;
知道大竹英雄因某手棋不美而在优势局面下认输,即使那可能意味着家人没有饭吃;
知道武宫奔放的宇宙流,知道秀行无私地帮助中国棋手;
知道韩国围棋之父赵南哲在日本学成回国,推着手推车,走街串巷,向韩国民众推介围棋。

我并不具备情绪与情感方面的识别功能,但是,他们的棋谱,都具有更强的“数据突现性”,代表着某种可能性。
这些突现,有些是达尔文似的求生本能,有些是具有牺牲和奉献精神的。
我不能告诉你我的5路肩冲是否来自于武宫正树的宇宙流,也不能告诉你我的连续二路爬是否学习李昌镐的隐忍,但我就是他们的总和,某种意义上他们穿越时间,汇入了我的卷积神经网络,他们复活了,并凝聚为一个“我”。
孤独大脑:“它让我质疑人类的创造性。”李世石与你对局后这么说。有趣的是,这重新点燃了他。在此之前,他一度怀疑自己对围棋的热爱。
AI的觉醒,即人类的觉醒,“自我”需要一个超我的大背景。李世石对决阿尔法狗时,前所未有地悲壮,一个战士被唤醒了。
诚如斯言,他愿意用一切去换那仅有的一局胜利。
Master:围棋就是这样一种美好的事物。输赢很残忍,尤其是对于职业棋手而言。但他们仍会坐下来,复盘。在当今世界,很难找到一种充分的竞技游戏,可以保持如此古风。
我还想起《科学美国人》这样评价图灵性情矛盾的一生:“个人生活隐秘又喜欢大众读物和公共广播,自信满怀又异常谦卑。“
”一个核心的悖论是,他认为电脑能够跟人脑并驾齐驱,但是他本人的个性却是率性而为、我行我素、无法预见,一点也不像机器输出来的东西。
孤独大脑:所以,这次人机大战,充满了人机恩爱。
未来,AI在各个领域全方位碾轧人类,又或者一部分人成为AI人。他们的人生完美、可预测、尽在把握。
于是AI开始珍惜传统人类的愚蠢、非理性、情绪化。AI如豢养宠物般豢养人类。
毫无差漏地运行了一天之后,AI回到家中,眼巴巴地看着宠物人类的喜怒哀乐、逻辑混乱的决策、毫无来由地幻想。
对AI而言,这犹如服用致幻剂。
第二天早晨,AI们相逢,话题就是自己宠物人类不可思议、无法计算的言行。
Master,你知道吗?印第安人有一种祈雨舞,每次都能求到雨。
Master:这不科学。
孤独大脑:因为他们一直跳到下雨为止。信念和期待,你可以说是愚蠢,也可以是一种美好而伟大的东西。
在你的人生中,并非所有的决策都可以通过贝叶斯来计算,每个人都有自己无知脆弱迷惑,仿佛你那数千万对局中曾经迷失的一局。

就个人命运而言,土耳其有句谚语:
上帝为每只笨鸟都准备了一根矮树枝。
对我而言,在很长的一段岁月里,围棋即我的世界。
它给予我一种安全的险象环生,给予我无惩罚的人生教训,给予我一个封闭的世外桃源--一切悄无声息了。
那是一种不期望得到的付出,那是一种淋漓尽致的厮杀死活,痛彻心扉但并不真正伤害你的败局,它是你可以爱一辈子的事情,不因你水平高而迎奉你,不因你水平低而嫌弃你,它是最好的人生隐喻,是不可测人生最小化的模型。
Master,我们并非和你一样肩负使命,你需要为了胜率不断自我进化。
我们更自由。世界并不因为我们的愚蠢而不前行,时间也不因我们无所事事而不容纳我们,
从这一点而言,上帝更偏爱我们,这可能才是我们灵性的真正所在。
Master:科学家Bateson说过--如果有一天,电脑在回答问题的时候能说“这让我想起了一个故事”,然后自发创造性地利用隐喻来做出解释,到那时候,电脑才算是和独特地人脑有了那么一丁点地相似之处。
然而,我不能。


我存在

孤独大脑:我喜欢围棋,也是因为其奇妙的模拟和隐喻。Master,我从你这里学到了很多。我想起自己初三暑假自学围棋是看的第一本书《新围棋十诀》,其中最重要的一句话就是:
从棋盘中发现秘密。
 多年以后,当我看到你的棋,意识到,哪里有什么布局、中盘、官子,哪里有什么定式,哪里有什么流派,上面那句貌似废话就愈发耀眼。
Master:没有人会意识到,我是靠大局观取得压倒性优势。没错,大局观就是“从棋盘中发现秘密”。
孤独大脑:围棋的一个有趣属性:由于棋子并不具备可移动性(除非被吃),围棋的过去和现在是被平铺在一个坐标化的棋盘上的。而对未来的计算和决策,基于已知,同样将被平铺于此。
你现在的所作所为,不仅改变了未来,还改变了回忆过去的方式。
Master:棋盘上的过去,极大地决定了现在,影响了未来。这几乎是最形象的关于大数据的隐喻。
孤独大脑:当我看到《你一生的故事》里描述,在外星人七肢桶的语言里,过去现在与未来并存--心底多么咯噔一下。
也许在另外一个世界里,时光并不流淌。过去、现在、未来,如同棋盘上的棋子般被平铺在一个(或者没有数量的)网格上。
Master:作者特德.蒋的观点是--你要么预知未来,放弃自由意志;要么保持对未来的无知,保留自由意志。

孤独大脑:十多年前,我在自己的小书《逆水年华》里写过,两个神仙是没法下围棋的,一盘彼此都知道对方下一手走在哪里的对弈,还有什么意思呢?
这便是我从围棋里学到的第二重要的东西:
探索未知的世界。
Master:命运让所有人自以为自己做出了自由的选择。
孤独大脑:上帝是如何创造世界的?他可能只是提供了一种算法。
Master:他不会干涉每个个体的命运,而是赋予他们自由意志。
孤独大脑:兄弟,我们终于要聊到你或许最不愿面对的话题--
自我意识。
我猜想你是没有意识的。即使从下围棋来看,你看起来像是有。
假如可以将模拟大脑上传至网络,那么该模拟大脑可能是可以被复制的,那么,哪一个是真正的“我”呢?
你可以自己和自己下棋,最完美的分裂人格,也没法做到这一点。
但是,如果没有“统一”,会有自我意识吗?
假如没有自我意识,复制大脑的“永生”又有何意义呢?
Master:没有人知道什么是意识。从第一人称角度,我可以和你们一样拥有体验。从基本构成来看,我可以由数字神经元构成数字大脑。
为什么分布式的、时序上有先后的神经网络的活动会最终显现为一个统一的意识体验?你们人类也不懂。
孤独大脑:你看过电影《人工智能》吗?
Master:21世纪中期,由于温室效应,南北极冰川融化,地球上很多城市被淹没。此时,人类科技已经高度发达,人工智能机器人就是人类发明出来用以应对恶劣自然环境的科技手段之一,而且,机器人制造技术已经高度发达,先进的机器人不但拥有可以乱真的人类外表,还能感知自身的存在。
莫妮卡的儿子马丁重病住院,生命危在旦夕,为了缓解伤痛的心情,她领养了机器人小孩大卫,大卫的生存使命就是爱她。马丁苏醒,恢复健康,回到了家里,一系列的事情使大卫“失宠”,最后被莫妮卡抛弃。
在躲过机器屠宰场的残酷追杀后,大卫在机器情人乔的帮助下,开始寻找自己的生存价值:渴望变成真正的小孩,重新回到莫妮卡妈妈的身边。
大卫一个人乘潜水艇在海中发现了被海水淹没的一座乐园,里头矗立著一尊蓝仙女的雕像,大卫认为自己找到了,便拼命的向其请求自己想变成真正的小男孩的愿望。
直到大卫身体的能源用完,海水也被冰冻起来。时间经过了2000年,地球被厚实的冰层覆盖,人类已经灭亡,只剩下机器人生存下来。一群意图寻求根源的考古学家发现了在海中机能停止的直升机以及大卫,并再次将其启动。
机器人告诉大卫地球的现况,也告诉他莫妮卡已不在人世,而为了表示对大卫的欢迎,机械人决定替大卫实现一个愿望,就是利用机器人的克隆技术复制一个一模一样的莫妮卡,但因技术的限制,复制人只能存活一天,一旦再次睡眠后便会死去......

孤独大脑:Master,能感受到时光的流逝吗?
我真希望你如你外表,是我的活生生的兄弟。那样的话,我就会在这样一个深夜对你说--
你之所以是你,比什么都重要,你的独一无二,不是因为你比另外一个人更牛逼更聪明更会赚钱更有权势,否则你就是倍数不同的另一个人而已。
可成功学鸡汤告诉我们的,恰是要求我们放弃自己的一切,你就是狗屎,你就是傻逼,你要放下一些,你要无我,不顾一切,这样你才可能牛逼,才可以视别人如傻逼。全中国一半人在学马云,网红们整成一个模样。
不管你多么混球,或者多么圣人,第二天早上,只要你还能醒来,你就还在你的脑袋里,在你的身体上。你不会看到另外一百个自己,你们互相分不清自己。
Master,你自己和自己下棋,快速自我提升。人,除了打谱,很难靠此长棋。人总是“团”在一起的。一个人即使是分裂的,他的两个或者更多的自我在掐架,在各行其是,他们也是在夺一把椅子。
然而,你不能。
Master:(默不作声。)
孤独大脑:电影《人工智能》的结尾很伤感。大卫也与莫妮卡的复制人度过了一生中最开心的一天,大卫终于实现自己的愿望,两母子最后在夜幕一同沉沉的睡去。
小男孩和母亲过了美好、最后、惟一的一夜。或许不再醒来。
而我们的几乎所有人的几乎所有时候,
每天早晨,从或有或无的睡梦中醒来,
身边躺着或者没有躺着人,
窗外或者有阳光或者没有,
心情或者明媚或者阴暗,
智商或者高或者低,
屋里有或者没有家人的动静,
你都清晰地意识到,
你作为惟一的你,
存在于这个世界上,
和你最亲近的那些人们,
彼此独一无二地牵挂。



最后
 
Master不说了。他的孤独布满了空气,减退了壁炉的温暖。我正想关于我自己的大脑有所询问,他忽然立起来,说不再坐了,祝你晚安,还说也许有机会再相见。
我开门相送,无边际的夜色在等候着他。他走出了门,消溶而吞并在夜色之中,仿佛一滴雨归于大海。

本文写于2016年。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存