杨爱华丨人工智能中的意识形态风险与应对

作者简介

杨爱华，女，国防科技大学文理学院教授、博士生导师。

原文出处

杨爱华:《人工智能中的意识形态风险与应对》，《求索》2021年第1期，第66-72页。

摘要：作为引领未来世界的颠覆性技术，人工智能不仅广泛应用在自然科学领域，而且广泛渗透到政治、文化、法律等人文社会科学领域，被用来判断、干预甚至操控社会问题与社会现象，由此负载着意识形态功能。人工智能或以技术工具嵌入，或以资本逻辑操控的路径隐蔽而巧妙地发挥着意识形态的功能。人工智能的意识形态功能为社会带来了一定的政治风险、法律风险和伦理风险，但我们不能因风险而阻挡人工智能前进的步伐，而是要从制度与技术两个层面制定应对策略，推动人工智能持续健康发展。

关键词：人工智能；意识形态；风险；应对

人工智能是当今时代最有可能改变未来世界的颠覆性技术，人工智能对未来世界的颠覆性效应不仅表现为可以深刻改变人们的生产生活方式、推动经济社会发展，而且还可以改变甚至颠覆人们的思维方式、价值观念、伦理体系等上层建筑的元素。当人工智能的触角逐步渗入人们生活的每一个角落，社会领域内的各种活动几乎都离不开人工智能时，人工智能就不可避免地拥有了一种可以改变人、支配人、操控人的无形力量，人工智能不再仅仅承载技术的生产力功能，而且以隐约或张扬的方式发挥意识形态的功能。

一、科学技术承载意识形态功能的学理基础

关于什么是意识形态，一直以来缺乏一致的定义。一般来说，意识形态是与一定社会的经济、政治等相联系的意识与观念的集合，主要包括政治、法律、道德、哲学、宗教等。马克思认为意识形态的含义是多维度的，其中心内涵是作为思想或观念的上层建筑的意识形态，即“从市民社会出发阐明意识的所有各种不同的理论产物和形式，如宗教、哲学、道德等等，而且追溯它们产生的过程”。科学的形式同样是多元的，英国科学社会学家贝尔纳认为，“科学在全部人类历史中确已如此地改变了它的性质，以致无法下一个合适的定义”。通俗来说，科学技术是对客观世界及其规律的探索，主要表现为知识体系、工具产品、方式方法等。在马克思看来，科学技术是一种生产力，“资本是以生产力的一定的现有的历史发展为前提的—在这些生产力中也包括科学”。

（一）马克思主义科技异化论

马克思主义科技思想中并没有直接专门论述科学技术与意识形态关系问题，关于这一问题的理论基础可以溯源到马克思的科技异化论。马克思认为，科学技术在发挥其生产力功能、推动经济发展与社会进步的同时，对自然、社会及人类自身造成了一定的负面影响，作为人类创造物的技术，甚至在某种程度上反过来变成了奴役人统治人的异己力量。“在我们这个时代，每一种事物好像都包含有自己的反面。我们看到，机器具有减少人类劳动和使劳动更有成效的神奇力量，然而却引起了饥饿和过度的疲劳……技术的胜利，似乎是以道德的败坏为代价换来的。随着人类愈益控制自然，个人却似乎愈益成为别人的奴隶或自身的卑劣行为的奴隶，甚至科学的纯洁光辉仿佛也只能在愚昧无知的黑暗背景上闪耀”。在马克思看来，技术异化的根源不在于技术自身，而在于技术的资本主义应用。“这些矛盾和对抗不是从机器本身产生的，而是从机器的资本主义应用产生的！因为机器就其本身来说缩短劳动时间，而它的资本主义应用延长工作日；因为机器本身减轻劳动，而它的资本主义应用提高劳动强度；因为机器本身是人对自然力的胜利，而它的资本主义应用使人受自然力奴役”。在资本主义条件下，科学技术与资本权力相互帮衬、一路凯歌，破坏自然环境，干预社会政治体制，操控人类精神意识与伦理道德框架。

（二）法兰克福学派的科学技术意识形态论

关于科学技术与意识形态的关系问题，法兰克福学派倾注了很大的精力，构建了独树一帜的科学技术意识形态论。法兰克福学派早期代表人物霍克海默指出：“不仅形而上学，而且还有它所批评的科学，皆为意识形态的东西；后者之所以也复如是，是因为它保留着一种阻碍它发现社会危机真正原因的形式。”在霍克海默看来，科学技术通过其完善的工具理性手段，使公众陶醉于其带来的物质财富，蒙蔽公众双眼，阻碍公众反思社会问题与批判社会危机，从而发挥其意识形态功能。之后的代表人物马尔库塞认为，发达工业社会是一部纳入了技术架构的工艺装置，“技术中立”的科技价值观被打破，科学技术被嵌入政治统治的框架之中，带有明确的政治倾向性，从而成为一种新的社会控制手段与形式。他在代表作《单向度的人》中断言：“社会控制的现行形式在新的意义上是技术的形式。不错，在整个近代，具有生产性和破坏性的国家机器的技术结构及效率，一直是人们服从已确立的社会分工的主要手段。而且，这种结合往往伴随着更为明显的强制形式”，“科学—技术的合理性和操纵一起被熔接成一种新型的社会控制形式”。法兰克福学派第二代中坚人物哈贝马斯专门阐述了科学技术与意识形态的关系问题。哈贝马斯以科技进步为新的坐标系，不仅明确指出，在资本主义社会中，科技进步本身已经成了“第一位的生产力”，而且认为，技术与科学作为新的合法性形式，已经成为一种以科学为偶像的、不同于传统意识形态的新型意识形态。“因为现在，第一位的生产力—国家掌管着的科技进步本身—已经成了［统治的］合法性的基础。［而统治的］这种新的合法性形式，显然已经丧失了意识形态的旧形态”。哈贝马斯认为，国家加强对经济社会的干预以及科学技术日益取得合法统治地位是后期资本主义的发展趋势。“至少从生产力的连续提高取决于科技的进步—科技的进步甚至具有使统治合法化—的功能以来，不再是解放的潜力，也不能引起解放运动了”。如果说霍克海默对于科学技术承载意识形态功能的描述还是隐约的，那么马尔库塞旗帜鲜明地指出科学技术已经成为一种新型的社会控制手段，发挥着意识形态功能。哈贝马斯则以“作为‘意识形态’的技术与科学”为题系统阐述了科学技术就是一种意识形态，并对此进行哲学拷问与深层反思。

科学技术在本质上不属于意识形态的范畴，但在其应用过程中，常常与意识形态相互交织在一起，产生了千丝万缕的联系。当科学技术的工具理性张扬到极致，超越其生产力功能，被广泛应用并深入渗透到人们的日常生活及社会政治、文化等各个领域时，科学技术就具备了作为一种隐性意识形态的良好条件，有可能承载并发挥着意识形态功能。

二、人工智能发挥意识形态功能的路径

与传统意识形态相比，科学技术是一种新的隐性的意识形态，但是其渗透领域更广，统治手段更隐蔽有效，操控力更令人难以抗拒。“一方面，技术统治的意识同以往的一切意识形态相比较，‘意识形态性较少’，因为它没有那种看不见的迷惑人的力量……另一方面，当今的那种占主导地位的，并把科学变成偶像，因而变得更加脆弱的隐形意识形态，比之旧式的意识形态更加难以抗拒，范围更为广泛”。人工智能，或以技术工具嵌入、或与资本权力携手，隐蔽巧妙地发挥着其意识形态功能。

（一）作为技术工具的嵌入

随着数据的海量增长、数据处理及运算能力的提升、机器深度学习技术的快速发展，人工智能不仅被广泛应用于自然科学领域，同样涉足于政治、文化、法律等人文社会科学领域，被用来广泛采集用户信息、分析用户特征，以此为基础判断、干预甚至操控社会问题与社会现象。作为技术工具的人工智能被有效嵌入社会的政治体系、制度框架等上层建筑的各个子系统之中，或干预社会政治文化体系，或引发社会问题与社会危机，算法歧视与算法操控就是最明显的表现形式。

“算法歧视（Algorithmic Bias）指的是人工智能算法在收集、分类、生成和解释数据时产生的与人类相同的偏见与歧视，主要表现为年龄歧视、性别歧视、消费歧视、就业歧视、种族歧视、弱势群体歧视等现象”。比如，人脸识别技术凸显的算法偏见与算法歧视问题非常明显。2015年谷歌曾将黑人程序员上传的自拍照贴上“大猩猩”标签，雅虎平台也曾将黑人的照片标记成“猿猴”。美国警方的犯罪数据识别系统自动认定黑人社区的犯罪概率更高，2016年当研究人员将一套算法模拟应用于加利福尼亚州时，该系统反复派遣警方人员到少数族裔比例高的地区巡逻执勤。与求职就业相关的算法向男性推荐的工作岗位整体工资要高于向女性推荐的工作岗位。随着人工智能技术的进一步发展，算法歧视将带来越来越严重的社会问题，英国学者指出，“随着算法决策系统的普及以及机器学习系统的结构复杂化……算法在人们日常生活中的应用与影响越来越广泛，如果不加以控制的话，算法歧视冲击社会公正与公平的风险将进一步加剧”。

机器学习技术与基于自动识别数据模式的统计技术的交融，为人工智能时代的标签“算法制胜”打下了坚实基础，算法制胜被嵌入意识形态领域带来的丰厚回报就是算法操控。通过大数据技术与机器学习的嵌入助力人工智能“参政议政”已被西方政治家们“有效实践”。算法可以对我们的政治人格进行大规模的回归分析，为政治操控每一种情感。与社会歧视相比，算法歧视与算法操控具有更加隐蔽与更加多元的特点。首先，传统的种族歧视、性别歧视等是被社会反对或被法律禁止的，但算法歧视与算法操控由于披着科技的外衣更加隐蔽，人们不会提出明确反对，即便提出质疑，也会因“算法黑箱”这一冠冕堂皇的理由而谅解。其次，社会歧视往往是依据人的肤色、性别、家庭出身、学历等显性特征做出判断，但算法可以依据消费记录、网页浏览记录、行程记录等属于个人隐私的数据作为统计与分析的依据，因而更加多元，其渗透力与影响力也更大。

（二）作为资本逻辑的操控

人工智能作为资本逻辑对意识形态的操控主要表现在：最大限度地助力实现资本增值；消解人的主体性与社会性；加剧社会分工的不平等。

第一，在资本主义社会，人工智能是实现资本增值的基本工具。关于资本，马克思认为，资本的本质不是物，而是能够带来剩余价值的价值，“资本只有一种生活本能，这就是增殖自身，创造剩余价值，用自己的不变部分即生产资料吮吸尽可能多的剩余劳动”。作为统治权力表征之一的资本，只有对生产工具、产业部门直至生产方式、生产关系不断变革，才能有效实现资本的本能增值。“资产阶级除非对生产工具，从而对生产关系，从而对全部社会关系不断地进行革命，否则就不能生存下去”。机器化时代，科学技术渗透在产业链的每一环节，是助力实现资本增值的有效手段。相比传统技术，人工智能的资本应用显然能够更快实现资本增值。麦肯锡全球研究所2018年9月发布的研究报告认为，“到2030年人工智能可能为全球带来13万亿美元额外的经济产出，助推全球GDP每年增长1.2%……这种影响可以与历史上其他通用技术相媲美，比如1800年代的蒸汽机技术”。近年来，世界各主要大国纷纷加快人工智能政策部署与战略规划，2016年美国发布《为人工智能的未来做准备》和《国家人工智能研究与发展战略计划》，2018年德国发布《联邦政府人工智能战略要点》，2018年法国发布《法国人工智能发展战略》等，各国纷纷正式将发展人工智能上升到国家战略层面。一方面，我们不可否认人工智能对社会发展与人类文明带来的巨大推动作用；另一方面，“在资本主义条件下，人工智能实际上是资本谋取剩余价值进而维持整个资本主义制度体系存活的技术工具”。

第二，资本与人工智能的交融消解人的主体性与社会性。人工智能带来的自动化、智能化延伸了大脑的功能，让人进一步从体力脑力劳动中解放出来，但也在一定程度上消解了人的主体性。自从AlphaGo战胜李世石以来，关于机器人未来能否代替甚至超越人的争论就从未停止。以霍金、库兹韦尔等为代表的科学家认为人工智能今后会超越人类智慧，甚至导致人类灭绝；以松尾丰等为代表的人工智能专家认为人工智能征服人类的可能性在现阶段看来根本不存在。即便我们目前不必过多担忧强人工智能与超人工智能时代机器智慧等同或超越人类智慧引发的危机，但也不能忽视弱人工智能阶段智能机器主导劳动过程，人成为机器的辅助者，在人类自身解放的同时逐步丧失部分劳动能力，人与机器主客体关系被颠倒的异化问题。机器的独立性越强、自主性越明显，人的依赖性就越严重、被动性就越突出，人的某些能力就越容易退化。在智能机器主导的自动化经济中，人让位于智能机器或者被智能机器剥夺其劳动岗位，劳动者失去了本应该从劳动过程中获得的愉悦感、幸福感、满足感，低技能劳动者的一些基本劳动技能逐步退化，高技能劳动者的创造力逐步消失。人工智能在未来军事领域的应用完全可能实现完全自主武器系统，这种武器系统“在激活后可自主进行搜索、识别、决策和打击，无须人类干涉其进程”。在这种态势下，战场的指挥权可能完全由智能机器掌控。人的主体性、创造性在智能机器时代面临前所未有的危机。

马克思认为：“人的本质不是单个人所固有的抽象物，在其现实性上，它是一切社会关系的总和。”人是按照一定的交往方式进行生产活动的人，是发生在一定社会关系和政治关系中的个人。传统机器化生产中人与人相互配合、相互补充、统一调配的工作方式在人工智能时代完全可能由一名程序员设计的自动程序取代。无人化的工作环境与工作方式很容易使人的生活方式发生变化，人与人之间的关系不再那么社会化，越来越多的人倾向于选择离群索居、孤立生活，甚至将来与机器人女友或男友相伴一生也不是没有可能。此外，人工智能时代物联网技术也使更多的人常常沉迷于虚拟世界，与周围的现实世界之间横亘着一道无形的鸿沟，对身边的世界漠不关心、疏远冷漠，手机依赖症已是最普遍的一种现实映照，人的社会性正逐步被消解。

第三，资本对人工智能的开发与应用将加剧社会分工的不平等。与以往的机器化大生产不同的是，人工智能的高度自动化、智能化一方面虽然有利于人从体力与脑力劳动中进一步解放，甚至实现人的全面自由发展；但另一方面也将不断排斥劳动者，甚至完全替代劳动者，实现“零工经济”。由此导致的结果是：首先，社会分工体系中的主导角色将不再是人，而是机器人。劳动力在生产要素中的竞争力不断下降，最终甚至让位给机器人，失业率将大大增加。其次，社会分层、社会断裂问题更加严重。资本与人工智能的联手，将使掌握了前沿技术、高精尖技术、颠覆性技术的行业更容易走向社会的金字塔顶层，甚至带来行业垄断。“随着算法将人类挤出就业市场，财富和权力可能会集中在拥有强大算法的极少数精英手中，造成前所未有的社会及政治不平等”。低技能劳动者、廉价原材料在整个社会产业链中的比例将越来越低，低技能劳动者的失业风险将远远高于高智能劳动者，社会顶层与社会底层之间的鸿沟将进一步加剧，而且这一断裂将更加难以逾越。

三、人工智能发挥意识形态功能的风险及应对

自从德国社会学家乌尔里希·贝克于20世纪80年代提出风险社会理论，风险一词逐渐成为现代化的标签之一。贝克认为工业社会的科技发展、政治体系、法律制度等使得社会开始转化为风险社会，“风险通过与科学、科学实践和公共领域的紧密相互作用构造自身”。当今社会属于一定的风险社会，其风险很大一部分是由技术风险组成的。人工智能承载意识形态功能的风险属于高技术风险带来的升级风险范畴，高技术风险是不可避免的，只能提前筹划，制定有效应对策略。

（一）风险

人工智能发挥意识形态功能带来的风险主要包括（但不限于）以下三方面：政治风险、法律风险、伦理风险。

第一是政治风险。政治风险主要是指人工智能技术内嵌于政治系统，以“算法黑箱”为掩护，通过算法歧视、算法操控等方式影响政治体制运行、冲击社会公平正义的风险。公平正义是民主政治的基本原则，正如罗尔斯所说的，“正义是社会制度的首要价值”。算法歧视普遍渗透在社会的就业、教育、社交等各个子系统之中。2016年美国发布的《大数据报告：算法系统、机会和公民权利》，考察了大数据与获得信贷、就业、高等教育、刑事司法四个领域之间的算法歧视问题。算法歧视已成为一个普遍的政治问题，特别随着机器深度学习能力的进一步提升，算法已经成为一种新的权力形态，算法即权力。算法歧视与算法操控损害政治的正义，“算法黑箱”遮蔽政治的公平透明，必将带来政治的权威化危机与合法化危机。作为权力的算法如果不消除算法歧视，那将对人类政治文明带来极大的风险与灾难。

第二是法律风险。以数据和算法为基础，利用分析工具进行自我学习，通过互联网、云技术等跨时空、跨地域对获取的信息进行传播和扩散，人工智能在将大数据的经济价值挖掘到最大化的同时，也带来泄露敏感信息、侵犯个人隐私的法律风险。传播速度快、侵权方式简单、侵权手段隐蔽、侵权范围广等是人工智能技术侵犯隐私权的新特点，人工智能时代人们的生活变得透明化。麦肯锡全球研究所预测到2025年全球物联网（IoT）市场规模可以达到11.1万亿美元，这可能意味着届时我们的周边到处都是信息收集器，而在人工智能技术的覆盖范围内，这些信息收集器都可能具备自主思考、自主判断、自主开启传感器的功能，人工智能与物联网的融合将把隐私权被侵犯的风险提升到一个更高指数级。

第三是伦理风险。随着人工智能和自主系统嵌入政治、经济、文化等社会各个领域，人与机器的关系变得越来越复杂，责任承担及责任分配的问题受到严重挑战。在人工智能表现出越来越强的自主性的时候，是否意味着机器人就可以作为道德主体承担相关责任？一种观点认为计算机系统在智能技术的推动下，已经由一种工具变为一种代理，“计算机系统具有某种道德代理，并且这种道德代理和代理的角色不应该被忽略”。应用伦理学专家黛博拉·约翰逊明确指出，大多数情况下人们应对技术的使用负责，当人工智能成为道德代理人后，没有人会对人工智能体的行为负责。此外，有的学者认为即便机器系统不具备完全意义的道德主体属性，不能作为第一责任人，至少也应该承担“准责任（quasi-responsibility）”。与之对立的观点则认为机器终究只是一种工具，不具备自我意识，其责任理当由系统设计者、程序员、系统维护者等人类主体承担。控制论之父维纳早就警示，人类如果把责任丢给机器，最终只会自食其果。

（二）应对

人工智能意识形态功能带来的风险是源于技术的应用所带来的社会风险，马克思认为：“这些矛盾和对抗不是从机器本身产生的，而是从机器的资本主义应用产生的！”在技术哲学家芒福德看来，“它只是人类文化中的一个元素，它起的作用的好坏，取决于社会集团对其利用的好坏。机器本身不提出任何要求，也不保证做到什么。提出要求和保证做到什么，这是人类的精神任务”。技术的进步是不可阻挡的，技术带来的风险也是不可避免的，我们不能因为人工智能承载意识形态功能的风险就放弃其发展，而是“要学会把机器和机器的资本主义应用区别开来”。为此，只有加强顶层研判、提前筹划，制定应对策略，才能将其风险尽量减低，推动人工智能持续健康发展。

第一是制度层面。凡事预则立，不预则废。任何一种新事物的出现，都可能冲击现有的社会秩序与制度体系，这就需要制度体系与之更新。“我们所体验到的那种无能为力并不是个人失败的标志，而是反映出我们的制度无能为力。我们需要重构我们曾经有过的这些制度，或者建立全新的制度”，不管是弱人工智能阶段已经凸显的算法风险，还是强人工智能阶段或将凸显的机器思维统治风险，人类都需要提前预警，各国应从顶层设计开始，提前筹划，规范从业人员的职业行为与道德准则。当前，世界各国正在积极推出人工智能伦理规范准则。美国电气电子工程师协会（IEEE）2016年发布世界首个《人工智能设计伦理准则》，2017年发布更新版“Ethically Aligned Design Version 2”，其宗旨就是使人工智能系统能够遵从人类的道德价值和伦理准则。日本人工智能学会伦理委员会2016年起草了面向科研人员的伦理纲要草案，该草案中制定了防止人工智能被恶意利用的相关条款。英国标准行业协会2016年发布《机器人和机器系统的伦理设计和应用指南》，其目标是制定智能机器人融入社会的道德规范。2019年欧盟委员会发布《可信赖AI的伦理准则》，提出可信赖人工智能的整个生命周期系统必须具备三点：“首先应是合法的，遵守所有法律法规；其次应是道德的，要尊重人类主权、防止伤害，公平且可解释；再次应是健康可靠的，避免因技术造成无意伤害。”中国于2017年发布《新一代人工智能发展规划》，提出要建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力。截至2020年7月，全球已有38个国家制定国家层面的人工智能战略政策、产业规划文件。此外，与人工智能相关的法律规范也需要同步建立并完善。

第二是技术层面。技术引发的风险问题很大程度上仍然需要依靠技术手段来预防与解决。基于深度神经网络和机器学习的人工智能系统是目前最复杂的系统之一，“算法黑箱”是系统自身不可理解性的一种典型表现。尽管面临无法避免的正常事故，但系统设计者、程序员等在设计、应用的各个不同阶段，都必须同步加强堵住技术漏洞、维护信息安全的防范、补救与保护技术。在设计阶段应努力规避技术被误用或滥用的技术可能性，增强技术自身的“人类可控”性。在应用阶段，通过加密技术、匿名化技术、屏蔽技术等严防技术漏洞，设置系统内部纠错机制，以防危害扩散。在售后阶段，研发新的技术工具对已经产生的技术问题进行改进或弥补。比如，麻省理工学院科学与人工智能实验室的科学家们开发出了一种新颖的、半监督的可调算法，通过重新采样来自动消除数据偏见与算法歧视。目前，新兴的算法纠偏工具正逐渐被研发出来，有望帮助消除算法歧视，实现更加公正的人工智能。

四、结语

科学技术前进的步伐是不可阻挡的，我们必将生活在一个人机交融的时代，人类与机器的矛盾和冲突是不可避免的，人工智能负载意识形态功能也是必然的。迄今为止，没有任何一项新技术导致人类真正失去自我或者走向灭亡，我们同样无须对人工智能的意识形态功能过分担忧，当然也不可忽视。辩证审视人工智能的生产力功能与意识形态功能，有效防范化解人工智能负载意识形态功能的风险，寻求人工智能工具理性与价值理性的合理张力，作为颠覆性技术领头雁的人工智能，必将引领人类走向一个更加崭新更加美好的未来世界。

（责任编校：张利文）

因排版需要，注释从略，请参阅期刊纸质版原文。

刊名：《求索》

主管主办：湖南省社会科学院

编辑出版：《求索》编辑部

地址：长沙市开福区浏河村巷37号

邮编：410003

编委会主任：曹普华

主编：黄海

电话：[phone]   0731-84219506

线上采编系统：qszz.cbpt.cnki.net

郑重声明：本刊不以任何形式收取费用。投稿请一律通过线上采编系统，投给编辑个人的稿件一律不受理。除特约专栏外，本刊从未委托其他任何机构或个人组稿，请勿上当受骗。文章一经刊发，即支付稿酬。