查看原文
其他

人工智能时代,中文世界应该焦虑吗?

丘濂 语言治理
2024-09-08

19世纪开始,中文被卷入到了一场全新的全球信息秩序当中。在过去的100多年里,知识界曾有过若干场讨论,关于汉字的存废或改革,以确保汉字能与信息时代的技术相兼容。时代向前,中文信息危机仍旧不断重现,似乎每一次新技术的诞生,都会重新引发人们对中文的忧虑。而这一次,是人工智能对生活的全面改变。
Thomas Mullaney,2024,三联生活周刊


斯坦福大学历史学系教授墨磊宁( Elisabeth von Boch 摄)

想要从历史和当下全面了解中文现代化的处境,我们专访到了斯坦福大学历史学系教授墨磊宁(Thomas Mullaney)。墨磊宁是《中文打字机:一个世纪的汉字突围史》(The Chinese Typewriter:A History)的作者,这本书在2023年出版了中译本。中国读者可能完全没有听说过中文打字机,因为它从来没有被量产投入过家用。它至今在美国的流行文化中仍然作为一种被调侃的对象存在,是一种拥有着巨大体型、上千个汉字按键的想象之物。通过发掘中文打字机不为人知的发明历史,墨磊宁讲述了古老汉字融入现代科技的故事。墨磊宁的新书《中文计算机:信息时代的全球史》(The Chinese Computer:A Global History of the Information Age)5月份即将在美国出版。这本书在时间上接续上一本,是关于电子计算机时代来临后,汉字信息化的历程。

汉字如何输入,一直是墨磊宁关心的问题。在他看来,正是通过解决输入的难题,中国寻找到了新的路径,从而也造就了今天面对人工智能时的一种优势。

汉字输入,是中文世界进行人机交互的基础

三联生活周刊:ChatGPT这样的大语言模型出来之后,使用者的普遍感觉是,如果让它来进行中文的回答,答案的质量要逊色于英文。你怎样看待这个问题?

墨磊宁:的确,ChatGPT和其他生成式人工智能(Generative AI)在不同的语言环境下表现是不一样的。这点并不意外,因为如果从技术史的角度来讲,从19世纪起诸如电报之类几乎每一项前沿技术的出现,都是英语表现得最好。这些技术就是在英语环境下诞生的,大量的假设和实验也是在英语环境下来做的。所以当这项技术成果刚开始在其他语言环境下来运行,它的表现质量会有折损。中文肯定不是这里面表现最差的,还有更多文字书写系统在数字化方面比中文还要弱势。

然而有趣的一点是,中文计算机世界的语言大模型建设由来已久。像是中文输入法里面,都包含着巨大的词库,这样的词库里有着许多的词语、成语和专有名词,还有各种专业领域的词汇。从上世纪八九十年代起,中文计算机就在建设这样的词库,这些专业词汇越来越庞大,医药的、工程的、政治经济的各个方面都有对应的词库。完善这些词库是为了提高中文输入的效率——只需要输入一两个字来提示,系统就能在词库里找到这个词。而在英文计算机世界,发展词库是个晚近的事情,人们普遍认为英文输入法不太需要词库的帮助,它是一种“所打即所得”的输入方式。直到进入机器翻译的领域时,英文世界才意识到词库的重要性。

就发展词库来说,中西方的起点是不一样的。举个例子,我平时是家里的“司机”,负责接送孩子和买东西。我经常无法腾出手来进行手机上的文字输入,需要用语音转文字的方式。一天,我对着苹果手机说,我喜欢《春之祭》(Rite of Spring)这件音乐作品。我相信根据上下语境,苹果手机的输入法应该明白我是在特指一个音乐作品,而不是在说什么别的,但它还是没有反应过来。中文输入法大概不会犯这样的错误。这不是说中国的计算机工程师就比美国的聪明,而是在中文计算机世界,对如何无障碍进行人机交互的忧虑一直存在,人们需要花费大量的精力去解决这个问题。

综上所述,正是由于词库的存在,我其实期待ChatGPT的中文表现要比现在更好。但也许在最初的阶段,这样的资源并没有作为训练的语料被使用。

三联生活周刊:你非常关注中文输入法。中文计算机领域有很多话题值得讨论,为何偏偏是输入法引起了你浓厚的兴趣?

墨磊宁:事实上,我即将出版的第二本书《中文计算机:信息时代的全球史》整本书就是一部关于中文输入法的历史。但如果标题就叫作“汉字输入法史”,就显得太无聊了,也会给人以误解,好像我是要比较不同输入法哪个更好用。最初我有一个宏大的写作计划,去描绘中文书写纳入全球信息秩序的整个过程。我最终分成了两本书来写作,第一本就是已经出版了中文译本的《中文打字机:一个世纪的汉字突围史》,它讲的是机械打字时代,中文如何进行文字处理,以和英文键盘打字相匹敌。

第二本书可看作它的延续,聚焦进入电子计算机时代中文的输入问题。这本书叙述的起点是上世纪40年代,美国华裔工程师高仲芹发明“电华打字机”——这是第一台电动中文打字机。它的内部是一个包含了5400个汉字的滚筒,操作者需要记住每个汉字对应的四位数字编码,在键盘上就像弹奏钢琴和弦一样同时按下四个键,来定位这个汉字。这本书时间上的终点则到2010年前后,云输入法的出现。云输入法依靠的是服务器运算,有着更强大的语言模型和词库,能大幅提高长句输入的准确率。比如我打下“xmyjj”,它就会跳出来唐代诗人王维的完整诗句“下马饮君酒”作为输入选择。

对于中文计算机的发展而言,汉字输入是人机交互的基础。输入是和输出相关的。如果无法进行汉字输入,我们就不能在电商平台下单,不能在社交媒体上发言,不能预订机票,人工智能更无从谈起。英语输入是件很简单的事情,汉字输入则要克服种种语言学和工程技术上的难题,把它们写出来会相当精彩。

文学家林语堂还有一重不为人知的身份,他是“明快打印机”的发明者(视觉中国 供图)

繁多的输入法背后,是中文世界的焦虑

三联生活周刊:在你的第一本书中,林语堂是个重要的人物。通过你对史料的挖掘,很多中国读者才第一次知道林语堂在文学家之外,还是个了不起的发明家,他是“明快打字机”的发明者。在第二本书所涵盖的电子计算机时代,还有像林语堂这样对中文输入法起到重大作用的人物吗?或者说,在中文输入法的演进过程中,有哪些关键的节点?

墨磊宁:林语堂非常重要,这在于他的“明快打字机”标志着“输入”的诞生。“明快打字机”运行的原理是这样:它的键盘上印着汉字的笔画部件。通过第一次和第二次的机械键盘敲击,操作者会从一个叫“魔眼”(Magic Eye)的透明窗口看到最多8个候选汉字,它们都是由这些笔画部件组合而成的可能的汉字。接着再按下一个数字键,挑出目标的汉字,字就被打了出来。因此,这个打字的过程并不是直接打出汉字,而是指示机器想要的汉字是哪个,然后寻找到那个汉字。这可以说是输入法的雏形。可惜的是由于资金困难,以及20世纪40年代末政治形势的缘故,这样一台能够与西式打字机平起平坐的中文打字机没有得到量产。林语堂本人也似乎没有意识到它在“输入”上有着一种跨时代的意义。

从这个层面来说,之后发明各种输入法的人,其重要程度都无法和林语堂相提并论。不过,我会认为当人们发现汉字输入具有某种特殊性的时候,这就是一个关键节点。比如我的书里谈到的麻省理工学院的教授萨缪尔·考德威尔(Samuel Caldwell)。考德威尔是个多才多艺的人,但他既不会讲也不能够阅读中文。一次他邀请几个中国学生来家里吃饭,正是在那次用餐的闲聊中,他了解到汉字也有一种“拼写”(spelling)规则,也就是说中国人基本会以同样的笔画和顺序来书写每一个汉字。身为一名逻辑电路的专家,他于是思索能否设计一个逻辑电路,将汉字笔画当作输入值,让它能够输出汉字。


麻省理工学院教授萨缪尔·考德威尔(右)是世界上第一台中文计算机Sinotype的发明者

在研究汉字的过程中,他很快就有一个了不起的洞察:汉字的“拼写”是高度冗余的。任何一个汉字都可以有两种拼法。一种是最小拼写(minimum spelling),一种是完整拼写(full spelling)。也就是说,对于任何一个汉字,不需要输入完整的笔画,就已经可以从机器内存中检索到它。比如一个15画的汉字,打字员只需要提供前5画到6画,机器就已经知道它只能是这个字,而不会是别的字了。因此在上世纪50年代,考德威尔不仅发明了名为Sinotype的世界上第一台中文计算机,还在不经意间始创了今天在中文输入法中广泛使用的“自动补全”(autocompletion)技术。

三联生活周刊:无论是你说的林语堂还是考德威尔,早期的汉字输入似乎都是基于汉字的笔画结构。为何今天拼音输入法会成为主流?这样的转变又是怎样发生的?

墨磊宁:基于汉语发音的拉丁字母拼写来进行中文输入的尝试,自上世纪50年代就存在,但很长时间以来人们并不认为这是解决中文输入的好办法。这是因为汉字的同音字特别多。你想按照林语堂的输入方式,前两个笔画键入之后,你只需要在最多8个汉字中来做挑选,而要是打出一个字母拼写,可能要看几十个同音的汉字才能选对。

但慢慢地,人们意识到汉字输入的目标不用局限在单个的汉字,而可以是一个词。汉语的表达,基本是以词汇来连缀起来的。好比当你想输入北京的“北”,你要是仅打出“bei”,你会得到几十个音调不同但拼写相同的汉字,但你要是连起来打“beijing”,就只有“北京”和“背景”这样为数不多的结果了。因此,当输入目标从字转化为了词,字母拼写的输入方式就展现出来了优势,后面词库的不断发展,更是加强了这样的优势。

还有一个原因就是汉语拼音的教学得到了普及。《汉语拼音方案》1958年颁布以来就在向全国推广,孩子在小学阶段就会掌握汉语拼音的使用。像是五笔字型输入法这样基于汉字结构的输入方式,如果熟练掌握,会比拼音输入要更快。但这样的输入法需要额外学习,这会产生额外的学习成本。所以五笔字型尽管一度风靡,也逐渐退出了历史舞台。拼音输入最初可能还会有个问题,就是它是建立在普通话的发音之上,说方言的地方用起来会不方便。但随着汉语拼音和普通话的推行,这也不再是一个明显的障碍。


高仲芹正在展示他发明的电动中文打字机(麻省理工学院出版社 MIT Press 供图)

三联生活周刊:给我的一个感觉是,中文世界已经有了非常多的输入法了,中文输入速度也不再和英文输入存在差距了。为什么还会有很多中国人不断致力于不同输入法的发明和改进?他们背后这样做的动机是什么呢?

墨磊宁:你说的没错。我在书里举了个例子,要打出一个“电”字,中文可以有多少种输入方式。从上世纪50年代至今,有超过1000种的输入法,你可以采用郑码、五笔、仓颉、双拼、国标等来打出“电”字,而这些输入法的种类还在不断增长,中国每年都有数十种新的中文输入法获得专利。我在2013年的时候曾经在中国见过一位名叫蒋琨的耄耋老人,他花了15年时间创造了一个名叫“音码”的输入法。而陪同他前来的孙女蒋薇告诉我,她和父亲发明的“中文音形双序编码电脑检字输入法”比爷爷的那款还要好用。那一刻我深受震撼,一家三代人竟然全都投入到输入法的研究当中。

林语堂时代的人对解决中文输入怀揣热情,是因为在相当长的时间里,中文输入效率无法和英文媲美。人们关注汉字是否能和现代性兼容,输入法正是这个问题的症结。但进入21世纪,情况完全变了——同样在2013年,河南举行了“全国汉字输入大赛”,一位叫黄振宇的小伙子用五笔字型的输入方法,可以达到每秒钟3.7个汉字的速度。如果转化成英文字母来计算,他的输入速度早就进吉尼斯纪录了。在英文世界,这个速度只有专门的速记机才能达到。

那么为何人们还如此不知疲倦地尝试各种输入法?一个原因是在中文输入里,字母按键和汉字之间没有一一对应的关系。不像英文输入时,按下“Q”就是出现“Q”。在中文输入时,按下“Q”可以出现不同的字符,这取决于你是在做拼写输入还是笔画输入,你怎么来分拆一个汉字。这种字母与字符之间关系的任意性,让输入方式有了无数种可能,每个人都有了创造的空间,也都有理由相信自己创造的输入法就是最好的。

另一个深层次的原因则是一种弥漫了两个世纪的焦虑情绪。19世纪开始,中国突然被置于由西方主导的现代性和文明当中。当年,鲁迅说过“汉字不灭,中国必亡”,钱玄同说过“欲废孔学,不可不先废汉文”。汉字仿佛成为中国跻身于现代国家的一种羁绊。在这段历史的大部分时间里,中国都处于一种在认识自身不足和弥补不足的状态,不论这种不足究竟是不是真实存在的。发明各种中文输入法,就可以理解为是弥补中文不足的尝试。由于汉字无法逐一对应在西式字母键盘上,对于发明者来说,这只不过是一个个变通和妥协的方案,目的是怎样能在不利的情况下做到最好。就算现在中文输入速度已经超过了英文,这种不足的缺憾也依旧存在,因为中文输入始终无法达到“一键一符”“所打即所得”的程度。

“隐性书写”的时代,重新认识中文

三联生活周刊:关于计算机汉字输入的方式,你用了一个新的词语来形容,叫作“隐性书写”(hypography),这也是你第二本书里的一个核心概念。能谈谈为什么这样来命名吗?

墨磊宁:我一般不会创造一个新词,除非这个词在描述一种现象时非常必要。让我们再回到“电”字的中文输入。如果你用“郑码”输入,你打在键盘上的是kzvv;用五笔输入,打在键盘上的是“jnv”;仓颉输入是“lwu”;首尾音形输入是“djfz”;双笔音形输入是“djjm”;当然还有拼音输入是“dian”等不一而足。那你怎么去形容这些字符的组合呢?它们既不是缩写,也不是一种首字母的缩略。它们并非简单代表某个汉字,当你敲入这些字符的组合,是为了让它到系统里去检索到正确的汉字。

于是我决定用“隐性书写”这个词来称呼它们,它和“显性书写”(orthography)相对。显性书写就是传统的书写方式,存在了几千年,无论是甲骨文,还是青铜器上的铭文,又或是纸张上的书写,还有英文打字,都可以说是“显性书写”,你所写下的和所看到的保持一致。但“隐性书写”就截然不同了,它有几个特点:首先你输入的字符,和你得到的字是完全不同的东西;然后你可以用不同的方式去输入这些字符,它和最终的字没有唯一对应的关系;还有你也没有必要完整输入字符,系统检索和自动补全就能帮你找到这个字;以及很关键的一点,当你输入完成后,你敲击进去的初级文本,好比“dian”这个拼写就消失了,你得到的是“电”这个二级文本的汉字。初级文本成为一种隐性的存在。

在英文世界,并不是没有“隐性书写”。美国的法庭上,会有速记员使用速记机来打字,那种速记机只有一部分英文字母。比如要表示字母f,就要按下t和p。速记完成后,速记员会将这些字母组合而成的初级文本转译成可读的二级文本。但这种“隐性书写”只存在于某些场合,不像是在中国,因为中文输入法的缘故,它是无处不在的。另外,我想说的是“隐性书写”也不独属于中国。其他非西方的、不是采用拉丁文字母作为文字的国度,比如日本、韩国、阿拉伯国家等,人们输入电脑的方式,也都是一种“隐性书写”。

三联生活周刊:你还谈到现在是一个“隐性书写”时代,所以除了输入法之外,它还以什么形式在我们生活中存在呢?如果说中国人很熟悉“隐性书写”的方式,在这样的时代里,会具备什么优势吗?

墨磊宁:从本质上来说,ChatGPT或者其他生成式人工智能模型,无论是Gemini,Midjourney,Bard还是Stable Diffusion,你用它时使用的语言都是一种“隐性书写”。你所输入的提示词(prompt)本身并不是你要的结果,它们相当于是一种指令、参数或者说标准,目的是能让这些模型能够进行检索,从而生成你需要的答案。因此,有过“隐性书写”经验的人要比完全没有的人,会更乐于尝试,也会更适应运用这样的人工智能模型。我在社交媒体上曾表达过这样的观点:在面对ChatGPT这类生成式人工智能时,中国要比美国准备得更充分。

现在仍是“隐性书写”的初期,我把它叫作“隐性书写”的“摇篮本”(incunabula)时代(“摇篮本”是指古腾堡印刷术刚刚发明的那50年里,印刷出来的西文书籍)。我确实看到了“隐性书写”对于书写系统的一些改变。比如,它会影响书写系统的演化。我们今天看到的拉丁小写字母,实际是大写字母在日常书写中变得愈加非正式化的一种体现。许多文字的书写都经过这个从正式到非正式的变化过程。那么在“隐性书写”的环境下,你其实不需要完全输入,系统就会检索到一个它的正式写法,文字也就不再会产生演变了。另外还有“提笔忘字”的现象。由于“隐性书写”的存在,你也许中文能够输入得很快,但要拿笔和纸自己来写,就会发觉变得愈加困难,而且可能受教育程度越高,这种现象就越严重。

所以“隐性书写”的时代究竟意味着什么?是否掌握“隐性书写”就是拥有了胜利?我认为做出任何论断都为时过早。巨型中文打字机的意象在美国文化中成了一种调侃,具有上千个汉字按键的超大键盘,和缓慢的输入速度成为西方人对中文打字的想象,依然会重复出现在诸如《辛普森一家》这样当代的流行文化作品中。但我想提醒的是,并不是西方设计的计算机拯救了中国,和其他非拉丁字母的国家。而是恰恰相反,是中国和其他非拉丁字母的国家,以“隐性书写”的方式解决了计算机设计之初的局限,让计算机在全球范围的使用成为可能。

(本文刊载于《三联生活周刊》2024年第13期;感谢郑楠、大方对本文提供的帮助)
本文由Thomas Mullaney 教授授权发布,谨致谢忱!


本文作者:丘濂,《三联生活周刊》主笔,毕业于清华大学比较文学与文化研究专业。美食、传统文化和城市话题爱好者。




往期回顾



重磅!语言研究全球前2%顶尖科学家“年度影响力”榜单正式发布申丹教授、聂珍钊教授入选文学研究全球前2%顶尖科学家“年度影响力”榜单重磅!2023年QS世界大学排名正式发布重磅!CiteScore™ 2021 语言学期刊影响力排名正式发布科研助力 | 2022年语言学类期刊SJR排名分区列表(附Excel版下载)科研助力|2022年QS世界大学语言学、文学专业排名重磅|2022年QS世界大学排名科研助力| 2020年文学类(A&HCI)期刊排名科研助力| 2020年传播学SSCI期刊影响因子排名知网太贵?请收藏26个全球高质量免费电子数据库学术调查| Martin Hilpert :什么让语言成为语言Martin Hilpert :语言学家的一天都忙些什么?马丁课堂|Martin Hilpert:语言与大脑的关系:从三个语言学实验谈起马丁课堂|Martin Hilpert:如何阅读语言学学术论文?大师对话|Steven Pinker与Noam Chomsky谈语言和人工智能在未来的发展大师对话|Krashen 教授与 Chomsky教授谈现代语言学的发展大师对话|Halliday, Labov, Jacob Mey,  Embleton教授谈功能语用与社会语言学的融合发展学术访谈|Ken Hyland:如何在高水平期刊发表自己的学术论文Hello China (中国传统文化短片中英字幕) 100集免费资源《Amazing China》 中英双语纪录片资源免费获取86版《西游记》英文配音版资源免费获取用英语讲好中国故事之刘欣全英文回怼西方记者(附视频+双语文稿)用英语讲好中国故事之《四季中国》免费获取



个人观点,仅供参考
继续滑动看下一个
语言治理
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存