对未来科技的公开讨论越多，人类就越安全
陈自富，上海交通大学科学史与科学文化研究院客座研究员
全文7000余字，读完约需14分钟
不同背景的人之间，有没有资格或能力去参与那些既前沿、又对人类未来影响重大的技术讨论？在我看来，关于任何技术变革的讨论、反思都有它的必要性和充分性。
人工智能还带来了“DeepNude”和“Deepfake”（深度伪造），典型的场景有虚拟裸照、模拟他人打电话等等。这再次说明技术是可以作恶的。另外还可能存在算法歧视，通过算法强化社会偏见或不公，有的人甚至还在研究通过算法计算那些人更具有犯罪分子的面相特征，甚至宣称已经有80%的准确率。这其实很可怕，因为现在我们可能上班、取钱、坐火车或飞机都要刷脸，算法如何定义我是不是犯罪分子呢？
关于新兴科技，最近几年被广泛讨论的包括围棋人工智能“阿尔法狗”、人类生殖系基因编辑。有报道说，贺建奎基因编辑事件当中的第三位婴儿可能会在这个月出生，但是无论美方还是中方，似乎都有一个共识——对这三名婴儿的信息终身保密，无论姓名还是背景。
关于新兴技术和人类自身，其实是一个很宏观的话题，既有一定的专业门槛，又被公众广为关心，我觉得可以从这些角度来切入。
▲ 在贺建奎的基因编辑实验中，将胚胎细胞的CCR5基因进行改造，从而使婴儿获得对HIV病毒免疫的能力。图为HIV-1作用于CD4+辅助性T细胞的演示。贺建奎“基因编辑”事件爆出后，李克强曾在国家科技领导小组会议上提出“要严肃查处违背科研道德和伦理的不端行为”，今年六月《中华人民共和国人类遗传资源管理条例》公布。© US National Institutes of Health
▌普通人能不能讨论前沿科技？
首先是普通大众有没有必要和资格参与专业科技工作者的讨论。比如“转基因”，这已经从知识论上的技术问题演变成了社会问题，有时候会产生很激烈的对抗。普通大众在知识上有没有能力与转基因学者、生物科学家去讨论、辨析？这种讨论、辨析有什么目的或意义？
第二是跨专业的问题。在专业技术革命中，专业人士和目标受众的话语权如何平衡。比如在医院里，如果医生、操纵CT设备的分析师和病患都接受过高等教育，他们谁有话语权？病患能不能参与进医疗方案的讨论和决策？
第三是在同一个专业内部的分歧。无论在生物科学还是人工智能领域，学者和前沿的技术工作者之间都可能存在分歧，他们之间有没有资格去讨论和辨析这些问题？
这三个角度都反映出一个问题——不同背景的人之间，有没有资格或能力去参与那些既前沿、又对人类未来影响重大的技术讨论。在我看来，关于任何技术变革的讨论、反思都有它的必要性和充分性。这其中又会产生两种反思，一个是“硬反思”，主要针对技术发展中某些特定的知识；另一个是“软反思”，不讨论技术本身的核心内容，而是关注技术对社会的影响等其他维度。
比如无人驾驶，在部分矿山、物流等特定的场景下，因为运输环境比较简单，未来两三年可能会发生巨大的变化。硬反思关注的是现在的技术能不能支持无人驾驶，能支持到何种程度。软反思则关注这一技术可能造成的社会影响。美国大约700万货车司机，中国包括司机在内的从业人员大约2000万以上，如果无人驾驶延续到货运，对这一群体会有怎样多影响？
其实不存在那种脱离了社会和人文的纯技术。我们现在正在享受信息文明的成果，大数据带来了诸多变革和进步，但同时，它也和能源消耗、数据隐私等问题纠缠在一起。
这种人文反思的意义在于，可以形成和强化我们“拓展边界”的问题意识，从“人与自然相处”的关系问题意识到“技术重新定义人类”的反思性问题意识。
技术的最终产出结果是“人造物”，在没有技术或技术比较薄弱的时候，人类与自然的关系很简单。但是技术革命到来，我们迎来了一个“人造物”的世界，很多人工设备都不是自然世界里天生存在的，这也意味着人类的边界在扩充。驾驶一个庞大的设备，就像是人的四肢得到了扩充，电脑的储存、检索可以处理浩繁的信息，我们的体力边界、脑力边界，甚至是社会边界都在迅速扩张。
在技术发展的早中期，人类和“人造物”的关系还比较浅显，比如对手机的滥用、过度沉溺于电子游戏、依赖导航设备……这是一种“关系意识”——人与“人造物”之间是什么关系。但现在，我们面临着人工智能、生物科技这些新的重大技术，构成了新的“反身性问题意识”。我们开始重新思考人类本身的定义是不是会发生改变——将来人的视觉、听觉，甚至部分记忆器官都有可能被机器取代，生殖细胞也可能被修饰，发生重大变化。技术渐渐和人融合在一起，产生了对技术革命的人文反思。
▲ 思想实验“缸中之脑”（Brain in a vat）提出了一个关于人脑思维和身体感知相分离的假设——如果一个人的人脑被从人体取出，放入一个装有营养液的器皿中维持生理活性，同时有一台计算机通过神经末梢向大脑传递和原来一样的各种神经电信号，并对于大脑发出的信号给予和平时一样的信号反馈，此时大脑所体验到的世界其实是计算机制造的一种虚拟现实，但大脑能否意识到自己生活在虚拟现实中？这一概念可以追溯至“庄周梦蝶”，也在《黑客帝国》、《源代码》等电影中反复出现。© Source Code
无论是在追求知识增长的自然科学探索，还是通过知识进行的工程技术探索，“如何提出问题”和“提出怎样的问题”都是驱动我们向前发展的引擎。此外，在这过程中还有关于如何谋求人类平等和幸福的思考。
曾经有人写信给NASA，说目前地球上还有这么多孩子吃不上饭，NASA怎么能舍得为远在火星的项目花费数十亿美元。NASA写了一封很长的回信，其中一个解释是太空探索有利于人类科技的发展，而科技水平的整体提升有助于解决地球上的贫困、疾病等问题，“太空探索不仅仅给人类提供一面审视自己的镜子，它还能给我们带来全新的技术，全新的挑战和进取精神，以及面对严峻现实问题时依然乐观自信的心态”。
关于技术革命的讨论和反思，除了“如何提问题”，还有另一个角度——问题的边界。其实我们并不知道边界在哪里，但是因为建立了问题意识，所以讨论不是封闭的。人类在寻求如何扩大这些问题的外延，将技术开发、立法等等相关的问题和群体包括其中，进而更多角度、完整地审视现在的技术发展，真正服务于整个社会和整个人类。
▌技术并不等于科学，人也可能并不是理性的
有人将我们现在所面临的技术革命称为第四次工业革命，或“智能革命”。过去几次重大的技术革命，虽然不一定依赖科学知识，但是都带了重大的变革。
在第一次工业革命之前，人类始终处于一种人口增长和战争、瘟疫之间的反复过程中。蒙昧时代对火的使用；畜牧业和农业的分离；农业和手工业的分离、商人出现……生产力发展带来了私有制和定居文明，但人口增长很缓慢，一旦增长到一定程度，就可能会出现战争。
第一次工业革命是一场蒸汽革命，用于生产的“动力”发生了改变，烧煤产生的蒸汽动力取代了畜力和水力。冶金和机械制造勃兴，出现了真正的资本家。这是一种单源性的工业革命，以英国为核心，以工匠文化和商品输出为主。
第二次工业革命是电力革命，最大的变化是动力传输发生了变化。动力传送不再依赖于蒸汽机所捆绑的轴承、皮带，在电力出现之后，才有可能大规模的部署工业。德国就产生了化学工业，出现了汽车……革命不再局限在英国，城市化在加快。
也是在这一过程中，技术和科学的关系出现了变化。在第一次工业革命中的瓦特并不是一个科学家，只是一个工匠，那是一个技术和科学并行的时代。到了第二次工业革命，特别是化学和冶金技术方面的革命，科学就已经占据主要作用。
第三次工业革命是“信息革命”，我们享受到了现代通讯等等成果。它的主体是信息革命，但是实际上包括了核技术和航空航天技术（对核能的利用，登月、发射行星探索器等外太空探测）。
容易被忽视的是则是农业革命或绿色革命。二战结束以来，地球的人口增长了一倍以上，虽然还存在着发展、分配所造成贫困和饥饿，但从总量上来讲，我们的农业和粮食增长能够应对这次的人口爆炸。
现在，我们面临着第四次工业革命，也有人称之为“智能革命”，其中提得最多的就是人工智能和生物科技，此外还有航空航天、清洁能源（因此我认为单纯把它叫做“智能革命”其实并不准确），这是一个跨领域之间加速融合发展的过程。
各种技术之间交错关联，一个专业领域的技术很快能传导到另一个专业。比如人工智能和机器人，当火星和地球之间存在长时间的“信号延迟”时，人类没有办法像在地球上一样操纵火星机器人，因此就必须赋予火星上机器人一种独立自主判断环境的能力。这种技术非常容易扩展到地球上来。
和前三次工业革命不同的是，跨领域的技术出现了“正反馈”的关系。它主要体现在技术发展速度特别快、适用人口的范围特别广；随着技术进步和资本推动，一项技术很容易推广到另一个领域中。这可能是人类的认知边界改变最大的时期，向外我们去到了外太空，向内则拓展到了分子层面，甚至基因编辑层面。但同时，很多准备工作还没有做好，很多未知领域还没得到理解。
当技术革命缺乏科学支撑的时候，其边界和影响也会比较盲目，我们可能会不清楚它如何解决实际问题，难以解释它的原理、预测它的发展轨迹。比如在蒸汽革命时期，人们想到的只是煤炭带来的好处，却忽略了它带来的巨大的污染问题。回过头来看，在最初的两次工业革命中，无论能源、材料还是运载工具，都是基于工程需要而诞生的，带来的影响是具象的、盲目的。
▲ 1952年12月，伦敦城发生过一场持续数日的“烟雾事件”，成为英国历史上最严重的公共污染事件之一，有报道称烟雾造成了至少4000人死亡，并导致了数十万人以上收到呼吸道疾病的影响。烟雾形成的原因包括大量燃烧煤炭产生的空气污染和低气温、反气旋、无风等极端天气。© topfoto.co.uk
如果具备更强的科学理论基础，这些边界就更容易澄清。如果没有广义相对论，就没有办法去发展核技术；没有科学原理和技术背景，人工智能就不能进行大量的运算……但是在早期，即使不懂力学定理，也可以发明蒸汽机、也可能先把飞机造出来。
从这里可以看出来，如果先知道了科学原理，再发展具体的技术，比如核能、水电、火电，我们就能从机器、原理上有更多的选择。所以科学并不等于技术。假设科学是理性的代名词，科学是理性的，那么也许一向以技术为优先的人类并不是理性的，在技术革命的过程中，有时候我们其实并不知道其中的科学原理。
▌人工智能还存在非常多的问题
现在人工智能很火，但是到目前为止，我们的认知科学尚未解释清楚人类自己的智能原理；已经有人开始尝试做生殖基因组的修饰，但是人类的基因图谱才绘制了两三年。我们常常对技术的发展做科学的算计，在技术决策当中“两害相权取其轻，两利相权取其重”。这是一种价值的比较，但在没有知识体系的支撑下，我们对技术的决策容易出现盲目。公众和跨行业专业者确实会有这种担心，但是我们技术的发展其实不受这些担心的约束。
“阿尔法狗” 在实践上战胜了所有人类棋手，但可以明确的一点是，它没有基于人类的生物智能功能原理，因为人类自己都不清楚大脑是怎么工作的（或者说解释层面还非常的抽象）。“阿尔法狗”受到了人类在神经学上的启发，所以它有神经网络和深度学习，但和人类相比还差十万八千里，所以我并不认为它是拟人化的工作。
过去人在模仿动物上产出了很多科技，比如用雷达模仿蝙蝠，但是反过来，用“人造物”来模仿人本身，目前看来还非常少。包括“阿尔法狗”在内的人工智能程序面临着这样一个问题——它还是一种在理论上缺乏足够知识基础的工程实践，我们很难预测它会发展成什么样子。
美国计划在本世纪中叶前，能够大致绘出猴子这类灵长类动物的大脑神经网络。但绘出了之后怎么解释、怎么做，都还很难讲。其实在短时间里，我们还很难理解人类大脑的工作原理，我把这定义为“难以解释的生物智能或人工智能”，这也就意味着我们并不清楚人工智能会产生什么样的边界效应。在这种缺乏足够的原理解释的前提下，人工智能发展所面临的问题非常多。
培根说过，“知识就是力量”，意思是知识是智能的来源。但是知识和智能的关系没有这么简单。如果百科知识竞答比赛，现在的计算机一定比人类的表现好，但是这里体现出的知识和我们所理解的知识并不完全相同。现在“阿尔法狗”在深度学习时所依赖的路径其实和知识没有太多的关系。如果说知识是人工智能的来源的话，人工智能就必须研究知识是怎么产生的、是什么结构、什么样的知识是真知识、知识怎么检验……这些目前都还没能完全实现。
但在另外一些领域，特别是脑力活动的领域，比如博弈游戏（例如围棋）、定理证明、图像识别……人工智能已经取得了突飞猛进的发展，现在识别车牌、人脸识别等技术已经在广泛应用了。另外在中高考阅卷等标准化考试中，甚至包括识别、判断手写体的题型，人工智能阅卷已经具有压倒性的优势。
▲ 2019年3月，河南郏县的农村，一家数据公司的雇员为当地村民拍照，进行脸部数据收集，供开发人工智能和机器学习技术使用。 © Cate Cadell / REUTERS
▌人类的本质是什么？会被人工智能取代吗？
在过去的工业革命中，机器取代劳工，造成了劳动结构变化和失业，“卢德运动”成为人类面对科技革命的一种反抗形式，通过破坏机器来反对工厂主的压迫和剥削。这也成为了一种进步的悖论。
到了这个时代，这种担心和恐惧还是存在（比如人工智能未来可能会取代会计、接线员、打字员、银行职员等职业），有人会想，“我的工作会不会被取代？我会不会变成一个废人，天天什么事都不干？”确实，现在人工智能技术已经不仅可以完成那种重复性的劳动，甚至有快速分析文本的能力，做科研的产出效率可能比人还快。
过去，人类定义自己，寻找人类的特性，有人说人会制造、利用工具，能处理符号，但其实这些其他动物也能实现。我们用了很多“防火墙”来保护我们作为人类的唯一性，想证明技术永远没有办法代替人类。我们总是去想“人的本质是什么”，想基于本质来定义一个物体，也许这种出发点就错了。比如基于本质来定义桌子——一张完美的桌子，最上方有一张桌面，四角向下接着四条桌腿——其他的桌子都是对它的不完整的理念的分享。
如果非得找一个完美定义，我们每一个人就都是“人”这个完美定义当中的摹本。所以我们做了很多退缩：符号的、理性的定义，将它作为一种认知，去寻找这种本质定义或者范本。但这会出现两个问题，首先会出现一个递归，会永远找不到最终“什么是真正人类”的定义，只能一层一层牵连下去；另一个问题就是会出现这种概念对我们人类肉体的超越。
我认为一种比较符合实际的观点是，智能和知识是一种过程，是人类生物体和周边环境交互的过程，但我们无法定义这个过程或概念，硬要去定义的话可能会滑入人工智能挑战定义的困境。第一，因为人类就没有本质定义；第二，智能也没有本质定义，所以智能并不代表人类。我们没有一个静态物种概念，劳动、符号、理性、文化等都只刻划了人的某个方面。“人类”这个词汇代表着具有独特基因组的人类，因为人类和其他高等生物不一样，我们是基因和环境组合的产物，由于环境的变化，从而导致了不同历史阶段的人类有不同的内涵和外延。也就是说我们有特定的时空范围。
其实当代生物学当中，“物种”这个概念都还没有明确。最初将物种，就是一种本质主义的探寻；后来达尔文说是基于形态，分为哺乳动物、爬行动物等；再后来又有基于基因分类的……可以这么讲，到目前为止，生物学界对什么叫物种没有清晰概念，所以也没有必要在乎“人类”是否真的是一个物种。如果一开始问题就提错了，那些关于人工智能取代人类的问题就是不存在的问题。
人工智能或者机器人没有生物那种有性生殖变异的基础，不能通过有性生殖去繁衍世代，产生变异。现在的生命经历了漫长的进化过程，在这个层面和人工智能或机器人相比较是没有意义的。而且，现在再复杂的人工智能或者机器人都比不上人类大脑平常的一个功能模块，它们的复杂数量级不在一个层面上。人工智能现在还没有办法成为独立的主体，因为这中间存在着生命和非生命的差别，生命要承担责任，而人工智能责任是由设计者承担的。总结下来，有性的生殖、社会性、语言能力、伦理责任是人类作为高等生命的主要特征，人工智能现在还不具备这些。
再延伸下来就是图灵测试、维纳（Norbert Wiener）和莫拉维克（Hans Moravec）问题。维纳在1940年代写过《人有人的用处》，里面一个假设是把一个人储存起来，在物理上，他可以在一个地方消失，通过信息渠道，传送到另一个地方。莫拉维克则试着去实现维纳的设想。如果说图灵测试是机器模拟人（计算机的拟人化），维纳问题就是人类的机器化，它们之间的共同点是把信息作为人的本质。将信息作为人的本质是否恰当？现在流行的认知是每个人都有独一无二的基因，用一段基因序列作为一个人唯一的标志，这也许是人类和人工智能在信息上的联系。
▲ 1950年代，图灵（Alan Mathison Turing）提出了一个关于判断机器是否能够思考的试验——让计算机来冒充人。如果不足70%的人判对（也就是超过30%的裁判误以为在和自己说话的是人而非计算机），那就算作成功了。图灵测试的核心其实不是“计算机能否和人对话”，而是“计算机能否在智力行为上表现得和人无法区分”。图为电影《模仿游戏》中，图灵在抽象计算模型“确定型图灵机”前，这也是后来的计算机的起源之一。© The Imitation Game
18世纪有一本书叫《人是机器》，里面在结构上将心脏比喻为动力来源或发动机，手是传动轴，这种比喻反映了经典物理的时空观，这种机械世界观的背后是一种实证主义的哲学观。
▌人类还面临着哪些挑战？
人工智能还带来了“DeepNude”和“Deepfake”（深度伪造），典型的场景有虚拟裸照、模拟他人打电话等等。这再次说明技术是可以作恶的。
另外还可能存在算法歧视，通过算法强化社会偏见或不公，有的人甚至还在研究通过算法计算那些人更具有犯罪分子的面相特征，甚至宣称已经有80%的准确率。这其实很可怕，因为现在我们可能上班、取钱、坐火车或飞机都要刷脸，算法如何定义我是不是犯罪分子呢？
另外人类已经发展了数百万年，从生物原理上来说，这是自然选择和淘汰之后能出现的最好的基因，但是我们还是会感冒，还是可能得胃癌。发展到这一步，大多数人已经不再面临食物短缺和自然环境的压力了，甚至我们现在可以主动去编辑基因。有种说法是基因编辑会污染人类的基因池，但是如果经基因编辑之后的孩子不能再自然地繁衍下去，这个担忧的意义就不大了。我们面临的更大的压力还是在于技术“人造物”，现在还没有办法从生物学去讨论这个问题，不知道它将来会变成什么样。
还有体细胞基因治疗。这里最大的问题在于人体有着复杂的基因，围绕一种罕见病去开发基因治疗，可能会有很高昂的成本，这就涉及到资源投入的问题。
这么多问题，有的我能回答，有的其实我也回答不了。有一种解决办法是问题消解，就是不说“我回答不了这个问题”，而是说“这个问题不能这么提”。人类看着挺慈善的，但是偏偏最喜欢拿生命做试验。所有的药物，从小白鼠到灵长类，都得拿动物试验，很多药物不做动物试验的话，根本没有办法投入到市场。从这角度来看，人类其实就是一个比较自私的种族。所以在这个意义上来看，很多事情我们也许不能这样做，但还是希望这样做能服务于人类。
还有一个算法的可解释性，包括算法的歧视问题。主要是资本主义社会下，缺乏一个透明的技术治理结构。比如算法能不能公开？关键技术的应用是否需要公开或者立法？这其中也许有一些方法和场景，比如打通全国的不动产和银行账户查询；打通用户和投资人员、开发人员的沟通；去除哲学上的本质主义，等等。如果技术更公开透明，讨论更充分的话，也许新兴科技会得到更好的发展。
当人在没有自然选择的情况下，继续去尝试技术的选择，营造出和自然并行的技术“人造物”，这个崭新的世界可能比自然界更大。在我们面临技术的发展和眼前的茫然时，能够在这压力和挑战面前做出选择吗？在新兴技术面前，我们对技术要有更多的思考，要有新的提问方法，才能更好应对技术快速发展的变革。
最终的看法是说，我们人类在没有传统自然选择的情况下，取决于我们自己对技术的选择。因为营造的是跟自然并行的技术人造物，技术人造物的世界比自然界可能更大，它决定我们的选择压力，所以这才是我们真正所关心的问题。
*本文根据南都观察和文化纵横举办的“从“阿尔法狗”到人类基因组编辑”沙龙整理，经陈自富确认。本文已加入“留言赠书计划”，优秀留言将有机会获得《六论自发性》（社会科学文献出版社）一本。