查看原文
其他

“可能不可能”与“应该不应该”——围绕AI和电影的跨学科对话

文艺研究编辑部 文艺研究 2022-04-24


《AI》


本文原刊于《文艺研究》2021年第1期,责任编辑张颖,如需转载,须经本刊编辑部授权。




黎   萌 西南大学文学院、北京大学美学与美育研究中心

陆   丁 首都师范大学政法学院

刘   畅 中国人民大学哲学院 

孙骞谦 中央美术学院人文学院 

赵   斌 北京电影学院中国电影文化研究院



  AI是目前的热门概念,电影研究中一些相当有影响力、相当流行的学说也关注这个话题,形成了“后电影”“后人类电影”等广为人知的理论。AI电影是一个典型的跨学科论题,是今天的电影与计算机科学、神经生物学、心理学、哲学等众多学科交叉的领域。围绕这个问题也出现了一些争议,诸如此类电影的可能性与伦理性。为此,本刊艺术哲学与艺术史研究中心组织五位相关学者以此为题,举办了首期跨学科论坛,讨论角度涉及心灵哲学、伦理学、语言哲学、视觉艺术研究、电影史论等。最终文稿由黎萌整理。 

 

一、AI与“后电影”状况


 

  黎萌 AI技术的发展及其在电影中的运用,带来了人们关于“电影之后”或未来电影的一些猜测。这使“后电影”概念在目前备受关注。但对于这个概念,AI并非必需的技术背景。相反,“后电影”是一个具有强烈现代主义色彩的术语,是在AI技术影响电影之前就已出现的、对媒介竞争和电影技术变革的一种反映。“电影之死”的主题在电影理论中反复出现。远在AI技术来临之前,苏珊·桑塔格在《百年电影回眸》中就有关于“电影之死”的感慨,认为电影在电视媒介的冲击下成为没落的艺术。这种在本体论意义上对于电影艺术的看法,显然与某种现代主义艺术观念有深切联系。这也影响到电影史学家。深受格林伯格“纯艺术”思想影响的西特尼的美国前卫电影史《视觉电影》,就以某种“纯粹性”为标准来构建其心目中艺术电影的历史。他完全排除了录像和计算机动画之类手段。他的前卫电影史还排除了安迪·沃霍尔的《切尔西女孩》等使用多重投影的电影,如果不注意“纯艺术”以及由此而来的“纯电影”观念,他对艺术电影的取舍标准就会非常令人费解。这类观念使得“后电影”的危机感不可避免,正如最近的电影理论文集《后电影状态》中指出的,“后电影”概念主要聚焦于所谓电影特有的两个经典标志——电影的摄影索引和电影机制,而今天这种摄影索引和电影机制都处于危机状态。对竞争媒介的抵制和焦虑不仅存在于电影理论界,也反复出现在电影创作之中。比如柯南伯格的《录影带谋杀案》、詹姆斯·卡梅隆的《终结者》系列。奥利弗·斯通的《天生杀人狂》也许是最好的例子:后电影化的技术被妖魔化,与男女主人公不可思议的病态暴力联系在一起,以至于有评论家称它是一部关于电影末日的电影。尽管“后电影”这个术语如今非常流行,我认为它对于今天的电影理论谈不上有非常丰富的蕴涵。“后电影”与特定时期的电影艺术观念有关,即一种现代主义的电影观念,同时又是一种本质主义的电影观念,例如“纯电影”。它所依赖的论证也是经典电影理论中极为常见的,从20世纪初期的欧洲电影先锋派到后来的阿恩海姆、蒙太奇学派理论家以及克拉考尔等人都使用过。哲学家卡罗尔将之概括为一种媒介本质主义论证:这种论证假定了艺术媒介具有某种本质性特征,这种特征决定了当运用这种媒介时应该强调什么或不强调什么,一部作品的价值往往取决于在多大程度上凸显了或实现了这种本质。例如杜拉克强调电影的本质是视觉性而反对讲解,克拉考尔强调摄影术的本性是纪录而不是造型,并且相关特征决定了一部电影是不是“电影性”的。这类思想路径在后来遭到了很多质疑和拒斥。如果你并不持有这种电影观念,比如你更赞同的是丹托路径的关于运动影像艺术的开放得多的概念,你可能就不会接受“前电影”“真正的电影”和“后电影”的区分。回到我们关心的AI背景,“后电影”这类概念的启发可能就在于提示我们去留意和想象:在又一次革命性的技术浪潮之下,电影可能呈现什么新样态,可不可能出现AI电影,如果可能的话,真正的AI电影会是什么样。


《录影带谋杀案》


《切尔西女孩》


《终结者》


《天生杀人狂》


  刘畅 什么叫真正的AI电影呢?这可能有歧义,一个意思是以AI为主题的电影,比如《机器姬》《AI》等等。另一个意思,即我们今天想讨论的AI电影,不是以AI作为主题,而是AI作为作者的电影。在这个意义上,AI电影“可能不可能”的问题,也就是AI有没有可能成为电影作者。


《机器姬》


  陆丁 还可以问,AI能否得到一种新电影?问题不在于电影生产的自动化,而在于电影会变成什么样。毕竟,数码代替胶片,不是制作电影的新方式问题,而是产生了不一样的电影。例如,可以与沉浸式观看方式对比。戴上头盔、借助捕捉眼动而生成的非线性或多线的故事是电影吗?就好比说,漫画是(再现性)图画吗?它们所涉及的认知状态是完全不同的。AI生成脚本容易理解,处理符号是简单的功能,处理卡通画面也是。但有“自动”剪片机吗?完全从无到有地生成真电影,要怎么做?也许只能是某种推送机制,针对某种收集偏好的素材库——类似APP(当然了,APP也不只是推送)。


  孙骞谦 什么意义上的电影可以称之为AI电影?有没有“AI导演”“AI摄影”?哪些电影环节可以用AI来完成,或只是辅助?AI是能完整呈现一个电影,还是以人机嵌入的方式?如果只能人机嵌入,AI能编写脚本,或生成镜头、场景,或取代服装、化妆、道具等工种,但还是只有人能够理解完整的场景。刘畅提到AI作为电影作者的问题,在人类作者的情况下,对电影的理解总是涉及对电影作者的意图的理解。黎萌曾提到美学中的“虚构者悖论”,我觉得似乎可以成为一个讨论的切入点。或许我们可以从这个问题开始吧?

  

二、可能不可能:意图、理解与创造性


 

  黎萌 “虚构者悖论”与AI电影并没有直接联系,但它引出了一个重要问题,即艺术作品的理解中作者意图的地位。20世纪70年代,美学家拉德弗德发表了论文《我们怎么能被安娜·卡列尼娜感动?》,第一次以悖论形式提出:我们怎么会因为自己明知不存在的东西而产生真情实感?他构造出三个直观上正确、然而合起来不相容的前提:其一,虚构作品的读者/观众往往会体验到被明知是虚构的对象所感动的情感,例如恐惧、怜悯、爱慕;其二,在日常生活中,被感动的一个必要条件是被感动的人相信引起自己情感的对象存在;其三,虚构作品的读者/观众知道这些对象是虚构的,他们不相信这些对象存在。拉德弗德最终复活了一个柏拉图式结论:我们被艺术作品以某些方式感动,尽管极其自然因而完全可理解,但还是使我们陷入了矛盾与混乱。此后许多理论家尝试用各种方式来消除这一悖论,大致上可以归结为三种途径。第一种被称为“幻觉说”,它否认第三个前提。这类学说认为,虚构作品的观众例如电影观众,由于各种原因形成了假的、错误的信念,或幻觉;观众在某种意义上相信虚构之物存在。比如柯勒律治说诗歌的读者之所以被打动,是因为他们“悬置了怀疑”。电影理论中最流行的也是这种学说,并且,电影在视听方面的逼真性使得许多理论家坚信电影比文学之类更容易造成真假不分的幻觉,电影观众处在这种幻觉之中,并进而对最容易引发这类观影幻觉的电影——经典形态的好莱坞电影进行批评。第二种途径被称为“虚构说”,它拒斥第一个前提。这个路线的理论家断言,我们对安娜的怜悯并不是真正的怜悯,而是虚构出来的、类似于怜悯的东西。我们的情感反应本身是虚构的,是在与作品互动的虚构世界中产生的情感,而不是真实世界中的情感,哪怕它带有种种真实情感的附随现象。第三种路径被称为“思想说”或“想象说”。它拒斥第二个前提,认为观众的情感是真实情感,但这种情感不依赖于观众相信情感对象实存的信念,观众的想象也可能引起真正的情感。不过这种学说也承认,想象引起的情感与信念引起的情感在重要方面有差异。因此,第二种学说和第三种学说的差异,最终取决于对情感本身是什么的理解。后两种学说都反对“幻觉说”,否定虚构的观众陷于真假不分的幻觉或具有错误信念。对此我也是赞同的。因为观众熟悉我们文化中欣赏虚构的惯例,这种惯例也使得作者创作虚构的意图区别于撒谎。在此,正如哲学家塞尔在《论虚构》中分析的,理解虚构作品的作者意图对于正当的观众反应极为重要。回到AI背景下,观众如何理解一个AI作者的意图?


  孙骞谦 黎萌说的问题有许多发展方向。在艺术作品总是一个人工产物的情形之下,我们关注意图——比如制作者在制作这个作品时,他背后可能涉及一些情感方面的表达或传达。意图本身还包括结构的意图等等。作品的诞生背后总是有制作者意图的存在,在日常的各种制作甚至活动中,人类意图成为必要条件。在早期的AI讨论中,关于AI产物是否能存在意图有一些疑虑,与此相关的一个经典话题即塞尔的“中文屋”思想实验,其背景是图灵测试。图灵的方法是让一个人分别和人与机器交谈,在一定时间后,正常的交流者无法辨别刚刚说话的哪个是机器、哪个是人,便可说这个机器达到了智能标准。塞尔尝试通过中文屋实验对图灵测试进行反驳:假设一个密闭屋子里有一个人,有一本中文符号操作手册,设想屋里的人可以熟练地基于这个手册进行符号操作。这个有人的屋子就类似于图灵测试中的机器,甚至可以设想这个屋子通过了图灵测试,也就是说在交流时,对方没能识别出它是机器而不是人。机器就像中文屋,在里面拿着手册操作的人使用的那些符号是中文,这个人不过是根据说明书做一些符号操作,但在外面与之交流的人却以为这是非常完整的用中文说话交谈的过程,就像我们现在的交流过程一样。塞尔提出疑问:在这样的情形下,按照我们对智能、对人类心智的基本理解,会认为这个中文屋具有智能吗?这个面对符号的个体其实并不懂得这里输入/输出的符号是什么,并不懂得这种输入/输出的反应是一种言语反应或说话过程。在我看来,中文屋首先针对的是图灵那个时代及其后小半个世纪对AI的理解,即将智能体的本质视为一个符号处理和符号加工过程。如果这样,我们所谓的处理信息、解决问题,本质上就是我们作为一个机器在内部会有符号的出现,然后这些符号基于算法的转换得到一些问题求解的方式。这样来想,人就是一个图灵机式的个体。反过来想,AI就是某种意义上可以匹配于人的智能的机器,它是一个符号操作者,同时它有与人类似的思维和解决问题的能力。但在中文屋的思想实验中,我们看到的是,如果我们接受塞尔的这种直觉,那么在中文屋这里并没有真实意义上的智能,有的只是一些完全的符号操作过程和完全的问题求解而已。基于规则的有效的符号操作,并不构成智能的充分条件。相应地,图灵测试也不具备帮助我们测试智能与非智能的充分程序。这其实是认知科学中称之为“认知主义”或“计算主义”的最早一批对AI的考虑。从20世纪七八十年代到现在,无论是对认知还是对人工智能的理解,已经有了革命性的变化。但至少,它提供的框架对于思考AI电影有一些启示,所以当黎萌提起虚构者悖论时,我的第一个反应就是中文屋实验。当我们面对一部AI电影,我们沉浸进去,无论这背后是否有个欺骗者,这背后的意图是不重要的。但这个前提是作品的诞生总有制作者意图的存在。如果AI电影的产生并不包含背后某种意图的支持,制造这部电影的AI就是一个符号处理、符号加工的机器罢了,它所制造的东西是否承载意义?主角的一颦一笑,是否是我们所理解的开心或悲伤的表情?里面的话语是否具有我们所理解的含义?这当中我们看到的是符号加工的产物,作为产品的电影、作品无非是一个巨大机器运作出来的产品。这里如果谈论意义,如果意义背后依附于对某些事物的理解以及相关的意图的话,那么它是否构成一个我们所理解的电影?这是成疑问的。单纯的符号、影像的操作和运转,如果不承载意义,大概很难成为通常意义上的一个艺术作品。即便它可能通过某种电影意义上的图灵测试,例如观看者可能分不清它是人拍的还是机器自动生成的,可是它承载意义吗?如果它本质上无法承载意义,又能够叫电影吗?


图灵测试


  陆丁 孙骞谦的讨论是一个特别有意思的方向。通常我们在心灵哲学中处理这个问题时,是承认这里存在困难的,还有继续讨论的余地。如果我们不是上手就先开始讨论艺术作品这么高度人文化的例子,如果是AlphaGo这样的例子,你会觉得它是在下围棋吗?还是说它仅仅只是在执行某种算法?其中有什么关键性差别呢?是因为AlphaGo自己有一个判别棋步的好坏的标准。中文屋中,这个人是在机械地执行符号对应的规则和流程,也就是说,他自己是没有判断的。但是如果像AlphaGo一样,屋子里这个人能够有某种意义上的判断,可以去判定自己的某一特定执行是对还是错,那么我们在什么意义上说他不懂中文呢?如果取一个比较宽容的态度,他懂的是一种很奇怪的中文,甚至是另外一种中文,这对于语言来讲的确是不太够用的,因为语言是一个规则系统,你会觉得他懂的不是我们这种中文。如果换成电影,情况就要好得多。所以我们看到,AlphaGo的棋走出来之后,有人说它下得很像是日本国手吴清源,有人说它下的是另外一种围棋。如果现在的AI算法是带有判断和标准的,它在生成特定影像序列的时候,能够判别不同系列的待选方案的好坏,这时就很难讲它不是在拍电影而只是在执行一个算法。反过来,如果说这时候它拍的是“另外一种电影”,按照现在的艺术风气,这基本上就不能算是一种批评了,而应该是一种赞美。这里面的确还是有些问题的,但是,它有一个判别标准,有一个待选方案的甄别标准,那么,在什么意义上能说它是在拍电影而不是在执行算法,还可以做更细的讨论。这里不能一棍子打死。如果此时AI的算法不是像中文屋例子中设想的机械执行,而是有比如某个语言层次的模块去进行判别——去给不同的选项赋值,然后判别不同选项的好坏,就不能简单地说它没有意图。它其实可能有意图,不过这个意图不用非得像我们正常人或人类作者的意图一样:比如从生活环境中来,有他自己的人生观、世界观之类。原则上并不能说AI一定做不到这一点——这里还得不到这么强的结论。从这个角度讲,直接从中文屋这个路线、从意图角度来批评AI能不能生成电影,这种理论是不够强的。


AlphaGo与李世石对战


  刘畅 从论证上讲,我觉得陆丁是有道理的。黎萌和孙骞谦起了一个很好的话题,涉及一个类比。黎萌讲的虚构者悖论,涉及三个前提和它们导致的悖论。第一个前提是假如我们被某人真正感动,前提是这个人必须真正存在,而且,例如要感到怜悯,这个人必须真的存在并且真受苦了。第二个是我知道安娜这个人物并不真实存在;既然她并不真实存在,也就不存在这个人物真实受苦的过程。因此,我不应该感到怜悯。第三,事实上,我读了安娜的故事之后确实感到怜悯。于是出现了一个悖论。孙骞谦则做了一个类比式的悖论的论证。第一,我们被一个艺术作品所触动或感动,前提是我们相信这是一个真实作者抱着真实的意图,经过真实的艺术创作过程做出的作品。对于这个作品,作为一种理性的回应,我会感到感动。接下来的问题要做成一个悖论性的形式。我知道某一幅画、一首诗或一个电影短片是由AI完成的。下一个前提是,AI并非一个真正的作者,它并不具有真实的意图。但是,假设我看了这个AI做出的作品,我又受到了感动,或者至少获得了某种审美的愉悦,这就同样可以对应到一个悖论式的结构。但我觉得这里的问题恰恰在于,安娜作为一个小说人物显然满足一个前提,即这个人物并不真实存在。问题在于,假如按照刚才的类比方式制造一个悖论的话,这里就有一个嫌疑。你已经预设了AI不是一个真正的作者,它就并不具有真正的意图,这么一来就可以类比到刚才引入话题的虚构者悖论。但这是可以诉诸直觉的一种论证。你给我看一个短片,我感到拍得挺好,然后你告诉我这个片子其实是AI做的,一般人的反应通常是先感到惊讶,随后会有点受骗上当的感觉。这种感觉如果构成一种直觉的话,分析这种直觉的来源,也许一种解释是因为我们会先入为主地有这种比较自然的想法,即它不是真正的作者。这种直觉依赖于这种想法。假如AI真正通过某种技术手段完成了这部短片,它也真正创作了,却不具有真正的意图。这里就是一个诉诸直觉的论证。假如像陆丁刚才讲的那样,他一开始就觉得这种直觉是站不住脚的,是因为我们的开始并非从直觉开始,而是从对直觉的反思开始,我们的第一反应可能是要不要把这个电影当成电影。这是我们反思的一个起点,而不是终点。我们也许可以由此借AI的这种状况来追问什么是电影,什么不是电影,怎么去界定电影。


  赵斌 对于虚构者悖论,我从精神分析语言学角度来看。对一个悖论的解决或消除,大家有不同的方法或切入点,每个切入点联系着不同的理论领域,它们带来的可比较性可能取决于哪种理论提供的解决办法更优。我觉得这个悖论以及今天要讨论的话题,都与人的自我意识有关。在“安娜不存在”这个判断中,作为自然语言来描述大概是没问题的,但细分起来也许要一分为二。首先她的确不存在,这种不存在是要求本体论承诺的。说她的确不存在是依据我们现实的感知,或一种本体论的表达,是一种纯形式逻辑的东西。从精神分析学角度讲,就是一个关于象征界的知识。而当我们在日常语言中使用时,我也可以说她存在,这是因为自然语言本身包含着矛盾的东西,当我们说她存在,是假定了在一个完整的虚构世界当中她存在。这里有一个常识性经验,即我们在谈论存在时是从一个实用主义的角度讲我们感知存在,存在最后被我们说出来,这可能是我们在经验逻辑中理解存在的重要途径,甚至可能是唯一途径。所以第一个前提是在经验逻辑和形式之间出现的一种分裂,但有意思的是,我们在不同语境中使用它时,这两者之间的关系有点精神分析式的关系,都是压抑。我们在逻辑哲学中可能更看重本体论承诺的含义,纯粹的形式推演,而在精神分析学中我们往往会从第二个角度,建立一个封闭、虚构的场域,我们可以在里面谈安娜存在。这本身就是一种语言的分裂。关于第二个命题,对不存在的人不感到怜悯,我想借助蒯因关于“飞马”的争论,即虚构两个人,用推演的方法。对这个命题的理解可以有两个角度,一是在纯形式的符号意义上讨论,我们不能谈论一个不存在的人。一个根本不存在的人在我们的观念之中是根本无法言说的话题。另一个是在经验逻辑来讲,其实可以谈论不存在的东西。飞马在现实中不存在,但这个名称能在我们的想象中唤起某种东西,即插接或双重图像,所以我们可以去感知它。“对不存在的人不怜悯”,在我们的常识之中是对的,因为飞马虽然激起我们的一个图像或想象,但它不够鲜活,它召唤的强度不够。我对不存在的人不感到怜悯,这个问题非常大,就是说能否激起共情,比如怜悯,其实与存不存在没关系。唯一有关的是这个东西有没有以一种想象的能指的方式在我脑海中激起一个鲜活的世界,强度够不够。存在不是我能产生情感投射的一个必要条件,也不是一个充分条件。第三个就是我对安娜感到怜悯。黎萌曾介绍分析哲学中对此的一些有趣的看法,特别是卡罗尔所说的“此怜悯非彼怜悯”,即在虚构世界中对人的怜悯和在现实中对真正的人的怜悯不太一样。但可能有另一种解决方式,如果我们觉得“怜悯”这个概念有问题,就像理论家说的虚构与现实之间有一个不可逾越的鸿沟,我多少觉得这种论证方式是循环论证。因为首先做了一个本体论上的切分,然后在实在领域或自然领域中遵循这个领域本身的样子去讨论它,肯定会觉得此怜悯非彼怜悯。既然我们尊重日常语言,既然能使用“怜悯”一词,肯定是提取了各种情境下怜悯的一种共性。当然,在不同情境中,例如在虚构背景下和现实生活中,对不同的人的怜悯肯定是有差别的,但我们要提取这种共性。问题出在“安娜·卡列尼娜”这个人名。从形式角度来讲,这就是一个具体文艺作品中的人,但深究一步,我其实并未对这部作品中的人产生任何情绪,可能我更愿意说自己是怜悯安娜所代表的某一类人。这也是共情意识或怜悯本身的应有之义。每句话背后都有一个纯形式的推论和一个基于日常经验的逻辑,二者之间经常会打架,这种悖论可能是在某一层面的语义上的,走到最后可能会违反我们的常识逻辑。关于判断AI的标准,我更愿意回到一个关于连续主体的问题,就是一个完整的形而上意义上的人,具体说来可能与语言工具有关,包括:有没有自反性的语言使用,有没有自我意识,是否可以构成一个连续的主体。这可能是未来AI能否出现一个奇点、一个超级AI的大爆发的判断标准之一。如果把AI分解成具体的可执行的任务,AI大爆发已经是一个事实。所以我更感兴趣的还是AI是否会有自我意识。刚才提到的中文屋测试,我觉得这个人不是不懂中文,而是不懂指向现实的、有现实参考的、有意义的语言。这可能跟使用者的主体意识、自我意识有关。这可能是我们判定AI能否达到奇点的一个重要标准吧。


  刘畅 陆丁开头的开放论证,我是赞同的,但不赞同其结论。我们当然有很多共识,例如AI作为人的技术工具,可以在、实际上已经在电影中得到很多运用。但如何理解“作者”概念?例如一个拍摄自然风光的摄影师。所有自然题材的景致、景物都不是这个摄影师创造出来的,但因为他取了这个景,把它作为一个作品呈现给我们,我们会认为这个摄影作品的作者并不是大自然,而是摄影师这个人。同样,让AI不断地随机运行,它可能产生一千首唐诗,如果AI团队从中挑选出十首诗让我们去猜哪首诗是AI写的,我们有可能猜错。但问题在于现在的AI自己并不是一个作者。这不是因为它不够强大,而是因为它是否通过测试这一点是由人来决定的。这就与我们一般讲的创作非常不同。对于人的艺术创作,给了我们艺术品和工业品的区分。工业品就是有一条流水线,我只负责这个环节,在完成后交给下一个。所有人都在这条流水线上,并不对最后做成什么样负责。在这个意义上它不是一个艺术作品。对于艺术作品,你看了可能不理解,可能不赞同,甚至觉得它不算艺术作品。但作者是要对这个艺术作品负责的,由他来判断这个作品是完成了还是没有完成。而这样的能力是我们目前的AI不能具有的。并且,假设给AI再装上一个程序,使其不仅能制作这样一个作品,并且让它再加上一个对自己的判断:这是或不是一个作品。像这样的环节在我看来并没有意义,因为看它做出的是不是一个作品,最后是由人说了算的。这点也和AlphaGo的例子不太一样,AlphaGo下棋的规则非常清晰明确,指向也非常清楚,即围棋的输赢,这两点在艺术创作中都不具有。在规则性方面,假如规则完全确定了,我们所说的艺术作品的创造性也就无从谈起了。另外,它也明显不指向一个明确的输赢。现在我们说AlphaGo当真就是在下围棋,甚至将之当作一个AI类型的棋手,这些假定都可以接受。但不能因此就类比过来,说AI就能完成一个短片,它现在是作为一个AI类型的电影作者。因为按我们现在对艺术作品的理解,它们并非是按明确的规则来锁定标准,即一旦满足了这样一些标准,无论是谁做的,就能算是作者。这样的标准在我们的艺术创作中是没有的。进一步讲就更为复杂,我们去理解或鉴赏一个艺术作品时,很多丰富的因素都会影响到艺术作品的标准和所谓作者的标准。


  孙骞谦 刘畅的讨论刚好可以衔接AI的另一个问题——框架问题。刘畅提出艺术作品的评价不像下围棋,有输或赢的标准。艺术作品评价的标准、审美价值的维度会很丰富,因时因地而异。这个问题确实足以帮助我们认识到基于规则或基于特定的输赢框架和某种意义上缺乏既定规则的人类实践的直觉上很有效力的一种标志。这个标志在AI中对应的就是我之前和黎萌交流过的框架问题。框架问题的基本想法是什么呢?今晚聊天室里有些朋友也提到,这里涉及的AI主要是通用人工智能。目前学界的说法包括弱人工智能、强人工智能、专用人工智能、通用人工智能等等,通常把强人工智能说成通用人工智能。这里界定的通用人工智能就是在给定一个情境下可以处理一般任务,而不是完成一项有规则规定、有相关参数在先制定的任务。这里涉及信息相关性的问题。在一给定情境下,为了完成某个计划中的目标,什么信息是相关的?什么是不相关的?目前主流手段所构造的AI是否能鉴别出来?直到当前,人们仍主要持悲观态度。哲学家丹尼特用一个生动的故事来呈现这个问题。科学家构造了一个机器,这个机器就做一件很简单的事,就是活下去。这个机器需要能源——电力。远处房间里放着蓄电池,机器人需要把那个蓄电池取出来换上。蓄电池放在一个小推车上,小推车压在一个定时炸弹的启动装置上。一旦小推车轮子离开,炸弹就会爆炸。并且,如果一直压着这个启动装置,一段时间后定时炸弹也会炸掉。科学家连续造出三个机器人,生存任务一直失败。第三个机器人可以推导出怎样行动可以达成目标,也能推导出这样的行动可能的副作用,并且还能判定这些后果与其生存目标的相关性,如此强大的AI,却连一个只要神志正常的人就能轻松判断的事都无法完成。这里暴露的就是相关性问题。人面对一个复杂场景,要完成一个任务,有很多因素,我们能够在第一时间内做出有效的行为选择。这个选择不一定是好的,但至少是有理性下限的。如果说下棋的输赢判断很简单,那么,对艺术作品价值的判断却是非常复杂的。这种复杂性不必神秘化,它就是缺乏刘畅所说的某种既定标准或条件,即可以在参数输入或一开始设计时能够约束它的条件。如果说这时的AI有一个生产或制造出一个艺术作品的好的意图,它能生产出一个我们觉得好的艺术作品吗?艺术作品的质量判断的复杂性以及依赖性,使得生产出一个好作品就像机器人能够安然无恙地从有炸弹的环境中把蓄电池取出来一样,并且机器人导演或编剧所面对的情况比取电池的那个机器人复杂得多。假设我们对AI电影做一个界定,说AI电影是由AI编剧和导演创作出的电影,而不是AI仅仅作为剪辑、场景生成等等辅助手段,当然,作为手段涉及的是所谓“认知增强”的另一个话题,即让我们的电影制作者具有更强大的能力和工具。我们所谓的AI电影不是这种情形,而是由AI编剧、导演等等创作出来的一个产品。即便它有一个做出好电影的意图,它真能生产出好电影吗?即便它做出的产品得到了我们认可,恐怕也只是歪打正着的巧合。在这个意义上说,利用框架问题能进一步挑战的是,AI电影作为一个有价值的产品,这件事可能存在吗?答案可能是否定的。

  

三、应该不应该:我们如何谈论未来?


 

  黎萌 在谈“可能不可能”的问题时,大家聊到了各个层面,除了科学技术等方面,更重要的是从何谓作者、何谓创造性、意图、理解等问题来探讨AI电影和一般意义上的AI艺术。下面要谈“该不该”的问题。应不应该无限制地推进机器的艺术创造?假设机器具有超过人的认知能力和艺术“创造”能力,是否应该说机器的艺术创造比人的更有价值?是否应该让它取代人的创造,就像今天可以用机器代替我们进行工业生产一样?这些问题的一个背景是目前声势浩大的“后人类主义”思潮。后人类主义恰恰对这类问题有明确回答:不仅能够,而且应该。“超人类主义”最早的含义只是设想人对自身的超越,这个含义在后来发生了重要变化,主要指通过技术手段改善/增强人类,其中最重要的手段就是人工智能。在《变种异煞》等科幻片中可以看到对未来社会的这种人类优生学想象。在“超人类”的基础上,一些理论家进一步提出了“后人类”概念。目前的超人类主义和后人类主义不仅是在做一种科幻式的文学或艺术想象,而是严肃地提出这就是人类未来的发展方向——不仅技术上是可能的,并且是应该的。目前超/后人类主义的共同目标主要是突破人类局限,特别是延长寿命和增强主义。这类目标的可行性论证主要包括两方面,一方面是技术上的可行性,另一方面是伦理的可行性。技术的可行性论证主要包括奇点理论、思维上传、基因工程与各种增强技术的发展。假设我们从技术上能这么做,这对于人类未来的生活究竟好还是不好呢?后人类主义者的回答是肯定的,也提出了伦理方面的理由,主要涉及:滑坡论证;基于后现代主义多元化立场对人类中心地位的反对,例如《赛博格宣言》;“增强主义”是有绝对价值的理想,能带来人类未来的进步和福祉。这类观念的拥趸众多,但也不乏质疑和批评。比较有代表性的批评主要来自政治学领域,例如福山提出了一种基于后果论的批评,认为这种通过生物技术来实现的增强/进步会剥夺人类的价值。桑德尔对这种增强主义的动机提出批评,认为它表达或促进的态度是错误的、不道德的。我们如何理解“该不该”的问题?我的一个直觉是,对于用AI来替代我们进行艺术创作这件事,例如拍电影,我不会觉得毫无问题,不像用它来替代我完成工业品的生产那样容易接受。联系到前面的意图问题,我们通常觉得艺术品的创造背后有作者的情感表达等。对于艺术创作而言,我可能是个平庸的作者,但我有强烈的表达愿望。即便AI有远远超出我的艺术才能,我也不认为它真的可以或者应该代替我创作。我的创作有内在的目的,不完全能根据创造的结果来衡量。


《变种异煞》


  陆丁 黎萌的视角转移到了创作者立场,即:AI即使能生成电影,也不能取代人能创作的电影。这个我觉得没有问题。但这与AI电影“应不应该”有区别。不是所有人都是创作者,特别是电影。我看了一个好电影,不会想到自己要去拍。所以这个论点虽成立,但不能用来论证AI电影应不应该。这和前面孙骞谦说到电影价值或艺术品价值有关,似乎我们读者在接受一个作品时,有一个维度涉及我们和作者之间的关系。读小说时,我在某种意义上与作者达成某种关系。刚才聊天室有人说“安娜是虚构的,但托尔斯泰是真的”,确实如此。这样的影响是,面对AI做出的东西,我无法跟机器达成这样的关系。这就很像和中文屋例子很相似的黑白屋思想实验。一个人在一间纯黑白的屋子里面学习颜色概念,等他走出屋子后看到真正的红色,是否增加了知识?类似地,如果一个编剧从生下来就待在一个屋子里,那里只有各种小说、戏剧、小说理论和戏剧理论,他能写出一个好剧本吗?我的意见是他可以。我们可以想象一个人生下来屋子里就只有围棋,他可以学会下围棋。可能对剧本屋子的疑虑度会增加,但我觉得可以接受。那个人一定不能成为文化意义上的领导者,像托尔斯泰或鲁迅这样的人,但我们对作者的要求似乎不需要这样,假设他是普鲁斯特那样的作者,或假设他完全生活在纯文字的想象中,也是可能的。电影反而会加强这个例子,他可以在屋子里看电影。如果一个人生来从来没出过屋子,他就在屋子里看电影,看纪录片或动画片、广告,所有的影像,他拍的电影一定不是好电影吗?如果排序的话,最不可疑的是围棋,其次不可疑的是电影,再往后才是小说。这是因为影像的力量,它是模拟的,和文字不大一样,那么他在某种意义上模仿或改造其影像记忆的时候创造出有价值的东西,是完全可信的。如果这个直觉可以接受,那么AI和这个人没有太大差别。这是一种理想化状态的AI,但没什么原则问题阻止我们认为AI能够做到。孙骞谦刚才提到计算框架,即现在我们做AI几乎没考虑到常识的问题,就像他所说的正常的成年人之类,要包括能识别出这是一个定时炸弹。但如果它是个手雷呢?如果这个人恰好没有关于武器的知识呢?这里的问题不在于计算框架,而在于缺少一个知识库,这个知识库在原则上并不很难。把这个知识库补上之后,这个AI就至少能像人一样去做判断了。


  赵斌 关于电影的纯粹实验性写作,以上从完全假定的逻辑上讲是可行的。但回到普鲁斯特的极端例子,我们判断艺术创作,一种真正意义上智能的行为,通常与两个条件有关。普鲁斯特至少有一个艺术视野、批评视野,会有一种自反性判断,这是纯意识的方面。另一个条件与行动有关,例如电影《她》当中,那种不太适于用文字书写方式写信的人,最后用人工智能的方式写出有文学色彩的信,汇成书出版。从电影作为纯视听媒介来说,可能AI去仿造它更为容易,但还必须考虑现实因素,如工业的因素等等。如果仅仅考虑影像,制作的问题就纯粹变成影像加工。这不是理论上行不行的问题,会有许多广义的因素,时间、政治、经济、工业等等。用AI做电影,我们需要输入素材,然后输出。如果这个过程在耗费劳动力方面比直接拿着DV去拍摄和剪辑还高,在理论上的可能性就会大打折扣。前些年讨论CGI的问题时,大家也有这种浪漫的未来主义的希望,但最后发现我们可能在一些特殊的段落当中才需要这样的东西。现在虽然有人机互动,但完整地由机器人创作一部电影的可能性还不大。在这个过程中电影的形态可能也会改变。这种方式可能是超越既定历史框架的,可能又是一种突破规则。活人的创作力也在成几何级数地往前发展,还需要考虑行动力的问题。现在大众文化中普遍有一种危机感,包括AI可能取代艺术家等,其实更严重的问题是对人的生命安全的威胁。AI除了要有自我意识之外,还得有充分的行动力,这是和技术可能性相关的。简言之,素材方面,AI需要输入,例如感知、扫描等多样化方式,然后是内部软件运行、计算问题,再有就是输出,怎样更好地付诸行动。很多电影中把自我意识的出现和充分的行动力跳过去了。同时也应该考虑到人的智能是一种群体性的属性,与实践、对话都有关系。


《她》


  刘畅 现在出现了一个有意思的局面。黎萌合乎逻辑地提出先后讨论“能不能”和“该不该”,“该不该”的前提是“能不能”。在后一个问题上,我们有了分歧。我比较悲观,认为大概不会有以AI作为作者的电影;陆丁认为我们应该心态开放,因为AI未必不可能成为作者,所以他同样对“该不该”的问题持开放态度。如果说首先就不可能,又如何去讨论“该不该”的问题呢?我觉得黎萌是转换了一个角度去理解。我们先是把广义上的AI视为一个机器,它不是人,不是真正意义上的主体,我们说它不可能是作者。现在转换一个角度,不是让AI向人靠拢,而是让人向AI靠拢。这就是超人类或后人类,即我们主动把自己机器化。这当然也涉及滑坡论证:一个人的胳膊变成机器,心脏变成机器,最后我的大脑芯片化了,整个成了一个硅基的存在物。我到底是人还是机器,已经说不清楚了。这就把我们原本设定的在人与机器之间的沟壑给填平了。这样我们首先要问:人应不应该机器化?再一个与之相连的问题:该不该有这一意义上的机器/人作为作者的电影?赵斌刚才从专家的角度,特别是从电影门类的特殊性讲到了技术上有没有可能,以及“该不该”。当然首先还是“能不能”,如果技术上完全达不到,我们就不必为“该不该”忧心忡忡。而我想换个角度。无论是现在意义上的AI还是后人类或机器/人,我们要不要把它当作人,或在更严谨的意义上把它当作一个主体?我特别赞同赵斌最后说的那一点,即人类群体或主体间性对人、对主体性的建构性作用。主体性实际上是基于主体间性的一个概念。举例说,奴隶完全满足人的生物学标准,但却被当作会说话的牛马,他并不因为某方面的能力特别强就能获得人的地位,被其他主体当作一个主体来对待。所以我觉得生物学标准不算一个标准,不管是硅基的还是碳基的,不管具体实现你的能力的生物学基础是什么,我们所理解的主体都不能还原到这上面来理解。到底怎么理解主体以及艺术作品的作者?我给出一个特别“捣浆糊”的结论:谁是不是人,取决于他是不是被当作人,是不是被其他人当作我们这个文化共同体中的一员看待。所以赵斌说得挺好,就像《她》这个电影所说的,究竟这个AI程序是如何在技术上实现的,并非我们所关心的问题,最后男主人公与她恋爱,他爱的是一个人,这个被爱的人是被当作一个主体来看待的。这取决于什么,不是今天的我们所能判断的,而是取决于未来的人怎么看待超人类、后人类。这不由我们决定,也不由那个物质基础决定,而是由未来决定,未来的人与人之间、主体与主体之间会形成什么样的关系,会不会把一种在物质基础上异于自己的东西也当作我们的一员,这是判断AI是否被当作主体的标准。反过来,会有一个可能冒险的推论,即它在生物学上已经与我们非常不同了,我觉得这是一个开放的结局,未来那个混合着今天意义上的AI和人的那个东西,会不会被当成主体,并从而被当作一部作品或一部电影的作者,也许要按照未来的人的“生活形式”(维特根斯坦语)来决定。我没有确定结论,并且觉得今天的我们也很难得出一个确定结论。


  陆丁 我觉得AI在原则上可以拍电影。其实我相当期待AI拍出来的电影。徐冰的《蜻蜓之眼》把许多监控录像剪在一起。如果是AI来做,它也许在某种意义上会做得更好,当然前提是这个AI如AlphaGo,知道怎么下赢一盘棋。设想工程师设计这个AI是为了做一个社会调查,如果它要提交一个影像报告,它未必做不出一个有意义的影像作品来。当你看到这个作品时,即使你知道这是一个AI的作品,你与专业棋手看见AlphaGo的棋一样会有敬畏的感觉。它能做到你做不到的事情,提供一个你也许无法发现的角度,或没有办法发掘的事实。这样有什么不好呢?这甚至不需要你认为它是一个人,只需要认为它能提供的东西对你来说有意义就行了。我不知道我的立场算不算后人类,就像黎萌刚才所说的,在人类的界限中还是可以有一种增强主义,但不必走到赛博格的路线上去。在这种进步主义态度中,AI和AI作品可以成为其中一个非常有机的部分。对于人类界限,我个人的理解就是肉体上的界限,在精神上可能是没有什么边界可言的。如果完全退回到我必须得是个人、必须得回到当下的标准或者好坏的理解所允许的作品才是好作品,那么我不能同意这样的态度。总是会有我现在没有想到或没有留意到的那种“好”。


  刘畅 我的结论也是一种开放的看法。差别在于,我认为既然能拍出电影的AI还没有出现,就应该留待未来的人去回答是否接受把AI当作作者。各种工具帮助人类去完成人自己不能完成的一些事情,比如用气压计测气压,用温度计量温度,这些工具在某些方面的能力显然都超出了人,更不用说还有其他各种自然物种,比如我们没有狼的爪牙之利。但是,不会因为在某些方面一些非人类的存在者的某些能力超出人类,就构成它已经是人或人需要向它学习。但这还不是我们要谈的作者标准或主体标准的问题。它能力很强,可以帮助我们,我们可以向它学习,这些都不是问题。关键是我们要不要把它理解成一个主体。


  孙骞谦 从刚才刘畅的说法中提炼出一个命题:由于主体性在这个角度下源于主体间性,那么未来的AI是否能具有人的地位,尤其是社会学意义上的地位,有赖于在那个时候构成人类共同体的成员。我反对这一点。大家都很熟悉黑格尔的主奴辩证法,在自我意识阶段,两个个体相遇,谁首先放弃他的生命原则,他就能取得主人的地位。但主奴关系并不能为主人赋予充分意义上的主体地位。主人就是主人发布的命令,主人的意志是奴隶要无条件贯彻、无条件地视为自身意志的意志。主人意志的根据是什么?在这样的背景下,或者是主人能提供根据为他当下的意志辩护,那么这是无穷倒退,因为根据的根据还需要进一步的根据;或者是,到了某个点为止,主人的意志就是意志本身,主人的意志就实现了自我辩护。一种意志的自我辩护是一种任意性,主奴关系中主人的意志和命令并没有得到进一步的辩护,而是成为一种任意的东西。主人并未获得一种基于自身或自身建立的主体性或自主性。奴隶反抗主人,最后达成的局面是平等的理性主体之间的互相承认。在这样的理性主体相互承认的境况下,才会有充分意义上的主体性。在这种平等的理性主体相互承认的沟通之中,才会有法权意义上的真实主体存在。回到现在的问题,这种社会意义显然不够了,除此之外还需要认知意义。一个狼孩至少有一个在认知意义上成为理性主体的潜能。如果你不承认一个AI是人,不承认它具有与你对等的主体性地位,那么你这个已经获得既有主体性地位的人类,其实在面对AI时是在扮演主人的角色。这就回到黑格尔辩证法的第二点,主奴关系下主人是一个主体吗?恐怕谈不上。恰恰是,只要有了人类的基本认知构造和认知能力的个体,这就成为这个个体是否能获得人类共同体所承认的主体性的试金石了。从这个意义上,你们之间形成平等主体之间的相互承认,你否认它,当自己是主人,当它是奴隶,当它是你的意志的一个贯彻工具,那么你的主体性也被取消了。我不同意刘畅的另一点是,需要有承认资格的人类来认可AI算是人,而是反过来,如果我们人类不认可它们是人,人类也就不成其为人。此外,关于“该不该”的问题,还是在于真正的强AI是否能够实现。在这一点上很难讲,人机接口也好,人机交互也好,我不确定这些说法所说的强度是否能达到物种演化意义上把人换了一个物种。但至少在功能上,如果说我们这个物种具有认知,这个认知至少具有模块性,是一个积累的产物。两个物种具有的认知是不同的、有差异的。在认知状况的一个阶段看,认知增强能不能达到将人更新了一个物种的程度,是不清楚的。我的基本想法是,不论是技术演化还是物种演化的迭代过程,都是一种试错,即具有实验性,本身是高度偶然性的产物。如果让我来说技术迭代、技术演化的轨迹和方向,我不能预测。在不同的处境下有不同的伦理问题。如果真出现超人类或后人类,他们面临的伦理问题会是什么?我只能说不知道,因为我无法预测它们本身,也就无法预测在那样的社会下伦理会呈现怎样的面貌。


  赵斌 讨论后人类处境有其哲学上的脉络。欧陆哲学的几大派系都在清点黑格尔之后的关于主体性的话题。还是要区分一般意义上的人和主体。比如主奴问题,给小白鼠电击,小白鼠会觉得自己是被奴役的,它明显知道有一个与自我意识相对立的他者。我们讲思维上传,比如有一个平行大脑,或者我把我等同于小白鼠,小白鼠认为一个东西在一端操纵着我,或者小白鼠感到这不是我在动而是电流在刺激我,它有一个清晰的自我意识的话,这个过程是非常单纯的。更复杂的是,如果小白鼠误认为这种外来的力量是本源的自我意志,即一个把外在力量内化的过程。当然这个过程中会有些剩余,拉康和马克思都对此有所反思。但从一个理论模型来讲,它构成了一直以来都有的意识形态问题。这些与电影关系非常密切,例如拉康的“镜像”,阿尔都塞的“机器”。我们如果像小白鼠一样拿着手机蓝牙,头上插着电缆,电缆连接一个受控于他人的装置,这个系统就是一个意识形态的象征机器。这是人的一个过往处境。至于未来怎么判断,我非常赞同刚才几位老师的话。人文科学或艺术和哲学,这些浪漫的、诗意的或超越性的精神力量,或艺术中最高级的东西,其实都与肉身的有限性有关,它回溯地塑造着我们的一些边界。因此我对这个问题的探讨一方面是不太清楚,另一方面是不断用大家提醒的东西去反省自己过去的所知。


  刘畅 后人类、后电影及AI都涉及一个基本问题:我们怎么谈论未来。骞谦也谈到,从两方面来说我们谈论未来都不可能。一方面,显然不能设想我们今天就能决定未来,好像我们能预测未来就是这样而去谈论它,假如未来就是这样,谈论未来就没有意义。另一方面,就因为这样,我们不能假装自己是已经跳到未来回过头来看今天的我们自己,因为我们谈论的只是今时今地能谈论的,未来发生什么,我们只能等等看。这涉及一个问题:我们既然没有等到未来,又要谈论它,那么能够让我们谈论的确定性基础是什么?无论鼓吹超人类、后人类,还是福山、桑德尔等的比较保守的看法,他们所基于的基础都有点本质主义。鼓吹后人类的人似乎默认增强主义是未来的方向,因此我们就要发展,既是应当也是能够的。福山和桑德尔假定了一种本质意义上的所谓人性。我不愿意如此看待这个问题。刚才孙骞谦讲的演化很有启发,但我觉得用生物演化来类比社会的演化,基本上是不成的,不能跳跃太大。孙骞谦所说的路径依赖,要是类比到社会演化或者变化,更重要的因素在于,每一个变化不仅从它自己的变化脉络来讲是路径依赖的,关键在于,在人这里格外突出的是,你可以说它是“演化依赖”。多少年以前无论有过什么预测、感慨,完全不能代替以后出生的人的心智、他对世界的体验方式、他的意义观。关于什么是本质的人性,最好不要预先为未来的人去做判定。涉及“后人类”之类话题,既不要预先说我们要发展的方向就是要增强,也不要说守着固定的人类本性。这两者我都不赞同。特别是涉及艺术,首先要谈就是最真切的感受是什么,那就更没有必要预设人性的本质或者历史的本质。我认为涉及AI还有一个问题——“会不会”。有必要把“能不能”和“会不会”的关系,以及“该不该”和“会不会”的关系区分开。回看技术对人类的影响,包括正在发生的各种影响,经常地我们看到技术对我们的影响是:我们为什么会发展成这样,生活为什么会变成这样。就只是因为技术提供了这种可能。就因为我们“能”,所以我们就“会”,所以也就这么做了,这中间没有“该不该”。基于我们现有的理解,我们能够正当地回答的问题恰恰是“该不该”,而不能够正当地回答“会不会”。立足于现有的理解,我们可能不知道未来注定会怎样发展,但基于我们对心智和我们自己的理解,我们可以判断它应该不应该。AI制造出来的东西,它本就“应该”是平庸的。它不是跟“能不能”相关,而是跟“该不该”相关。什么意思呢?黎萌提到了这个问题,指给我看一幅画,不说是人画的或是AI画的。当然,在你告诉我这个答案之后呢,我的感受会发生变化,这是很自然的。我们谈创造,当然就涉及能力的问题。这种能力归根结底要有一个基本的要求,即要在某种程度上突破一个既定的框架。AlphaGo走出了任何人完全意外的一步,不可理解的一步,但是它走了制胜的一步。它在局部意义上突破了我们的理解,突破了我们的期待,我们仍然说它有创造性,它不是随机的或误打误撞的一步。但在电影或广义的艺术的背景下,因为没有一个最终输赢作为评判标准,就得落实到我们的感受上。假如杜尚完全超出我们的理解,我们却依然将之视为艺术,是因为我们不是把杜尚当做机器编好的程序出问题了,我们准备好了将之理解为一种艺术。AI能够把一些东西挑选出来,让艺术家觉得有创造性,但我觉得使之成其为有创造性的,仍是将之挑选出来的艺术家。在这个意义上讲,我仍然不觉得AI会独立地具有创造性。我认为,AI恰恰为我们理解今天什么是电影、什么是艺术,提供了一个维度或一个契机。我们向来都谈论什么是好电影,现在因为有AI,有未来的手段,就为我们提供了一个新的角度。但实际效果仍是今天的我们如何去进一步反思今天的电影,今天的我们如何理解今天的电影。


  黎萌 我们只能在反思的意义上讨论这个问题,而不是猜测,这一点我完全赞成刘畅,说得非常好。也非常感谢今天各位的思考和深入讨论,我自己得到了非常多的收获。感谢《文艺研究》杂志及其艺术哲学与艺术史研究中心给我们提供了这次可贵的交流机会。也非常感谢在线上聆听和参与讨论的朋友们,特别是许多在聊天室里踊跃提问和发言的朋友,实际上我们今天在两条线上展开了热烈的交流,让我感到了大家对这个问题的兴趣和活跃的思考。希望今后有更多机会进一步交流。


本文为国家社会科学基金艺术学项目“英美分析美学视野中的电影理论研究”(批准号:17BC039)、西南大学中央高校基本科研业务费专项资金资助项目(批准号:SWU1909104)成果。


*文中配图均由作者提供


|新媒体编辑:逾白




猜你喜欢

谭佳 韩鼎 李川︱早期中国与神话历史研究——关于中国文学人类学“四重证据法”的对话

洪子诚等︱当代中国人的情感结构与文学经典——以阅读为中心的对话





本刊用稿范围包括中外

文学艺术史论、批评。

欢迎相关学科研究者,

特别是青年学者投稿。








文艺研究




长按二维码关注我们。


■  点击左下角阅读原文即可购买往期杂志。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存