董青岭 朱玥 | 人工智能时代的算法正义与秩序构建 |算法治理与治理算法②

◆ ◆ ◆ ◆

上海市社会科学界联合会主办主管

有学术的思想  EXPLORATION AND FREE VIEWS

官网地址     http://www.tsyzm.com

◆ ◆ ◆ ◆

注：近期微信公众号改版，订阅号消息不再按时间排序，为了继续收到我们的文章，希望您可以在文章底部点击“在看”或者给“探索与争鸣杂志”公众号设置“星标”（公众号界面右上角三个点）。让系统知道这是您常看的公众号，这样您以后就可以看到我们的消息啦。自2018年6月1日起，本刊只接受《探索与争鸣》网站投稿。请收藏唯一真实官网地址www.tsyzm.com。原编务邮箱[e-mail]停止使用，原投稿邮箱[e-mail]为编务邮箱和应急邮箱。

人工智能时代的算法正义与秩序构建

董青岭 | 对外经济贸易大学国际关系学院教授

 朱玥 | 对外经济贸易大学国际关系学院博士生、天津外国语大学滨海外事学院讲师

本文刊载于《探索与争鸣》2021年第3期

非经注明，文中图片均来自网络

当前，人类社会生活正在加速迈入“算法政治”时代。伴随着人工智能技术的成熟和广泛应用，算法已然深入到社会生活的每一个角落。从智慧医疗到智慧金融、从智能家居到智慧教育、从智慧政务到智能战争，算法正悄然演变为统治一切的新型权威， 算法即生活、算法即权力。通过一系列预设程式、规则和指令，算法不仅裁决着谁有资格获得银行贷款、谁将在面试中被录取、谁可以优先接种疫苗，甚至还可以自行判断谁最有可能被解雇、谁会自动被降薪、谁将成为警察的重点怀疑对象。显而易见，无论是在私人领域还是在公共生活空间，算法正以其效率性和“客观公正性”而被视为创造美好生活的工具。然而，也有不少技术专家和媒体关切到，算法并非人们所想象的那样“技术中立”和“价值中立”。在很多时候，算法不仅“杀熟”“欺生”，而且还内嵌技术偏见和社会成见，制造、强化并放大诸如种族歧视、性别歧视、地域歧视和宗教歧视等社会偏见。因而，在算法治理方面，目前学界和政策界围绕“算法正义”的争议较大：作为处理特定任务的程式化解决方案，算法究竟是推进了社会公正还是塑造了新的社会歧视？如果算法应用过程中有其负面性，又当如何为其建章立制约束其不良影响，进而建构公平公正的算法秩序？

新秩序伦理：算法即统治

简单来说，“算法”就是用于解决特定问题任务的数学逻辑、工作流程和行动指令集合。具体到人工智能特别是机器学习领域，它主要涵括三个问题求解要素：其一，针对具体问题任务的数学建模，即对求解任务给出数学上的研究探索、逻辑假设、逻辑规则和计算方程，通常解题任务庞杂不是一个数学公式所能独立解决，而是一整套围绕任务分解所形成的环环相扣的公式组合或集合；其二，有关实现问题求解的流程安排，即计算过程的工程控制，包括解题步骤、任务模块和过程控制方法；其三，公式与流程的代码自动化，即逻辑推理的编码规则与代码实现，目的在于计算规则的循环利用和迭代优化，并使之泛化为同类任务的解题模板。就此而言，算法可抽象归结为有关具体任务的解题规则和解题步骤，反映的是设计者所偏好的价值观念与选择标准，在计算机领域主要具象为：哪些数据遵循怎样的标准和程序可以被挑选进入处理流程，进入流程后数据又该按照怎样的规则和逻辑被清洗、挖掘和重构，以及什么样的计算结果可以被认为是符合预期目标的计算输出。

在现实生活中，算法即规则，规则即统治。算法从来就不是客观和中立的，至少不是像人们所想象的那样“公正无私”，通常算法由谁来制定、遵循何种规则和如何被执行反映的是设计者的价值选择与社会分配正义问题。以美国新冠疫苗分发为例， 2020 年 12 月 16 日，斯坦福大学利用人工智能算法分配疫苗，结果 1300 多名医护人员只有 7 人进入接种名单，占比 0.14%。相反，一些在家工作、不需要每日面对新冠患者的资深教员反而被大量选中，由此引发医护人员强烈不满。而这一切的罪魁祸首则是美国卫生与公共服务部与数据挖掘公司 Palantir 合作开发的一个名为提比略（Tiberius）的疫苗分发系统。据相关媒体报道，提比略系统主要使用人工智能算法来规划疫苗剂量的分发和分配，并跟踪医院、诊所和其他注射地点交付疫苗情况。起初，该系统被设计者描述为“简单”“道德”和“公平”的，然而在实际执行中“谁可以优先进入接种名单”却深受设计者技术水平和社会价值观念之影响，许多美国专家认为这种做法势必会带给社会更多的不平等，但要改进算法可能并不那么容易。 

以上案例只是冰山一角，类似故事枚不胜举。伴随着算法在社会生活领域的广泛蔓延与渗透，现实世界事实上已经演变为一个被各种算法所包裹的社会计算空间。在这样一个计算空间中，人人皆为算法对象，不停地被各种算法所挑选和排斥。在某种意义上，算法已不能简单地被视为针对特定任务的解题工具，而是社会选择工具；现代政治秩序和社会伦理越来越为算法所驱动，即意味着以算法中心重建社会秩序。由此视之，算法正义的本质内涵应该是社会正义，这突出表现为：其一，在社会计算空间中，谁有能力建立算法反映的是社会规则由谁来制定的建章立制问题，如果算法只是由超级公司、政府机构或数据科学家按照自身的需求所制定，那么算法顶多是维护并增进一部分人利益的工具，无论如何也算不上符合公平和正义；其二，算法逻辑呈现为何种规则映射的是规则本身能否为社会所接受的规则正义问题，算法竞争实质上是社会治理规则之争，即哪一种规则更符合大多人的利益并为大众所接受，诸如全球气候治理中的碳排放计算规则之争和中美贸易赤字计算口径之争；其三，算法如何运行以及被何人所执行则反映了人们在社会治理中对程序正义之要求， 即便算法被认为是“公正合理”的，但按照何种程序、被何人所执行却仍是一个严肃的社会信任问题。一般来说，算法执行机构越权威、执行过程越透明，算法获得社会认可的程度就越高。

一言以蔽之，在算法革命的驱动下，算法政治时代已然来临。伴随着算法秩序的形成，数据公司和数据科学家正在从幕后走向台前，崛起成为新社会的政治力量。

算法机理：算法歧视何以形成

毫无疑问，作为一种新式的权利和财富分配工具，算法在赋权和便利一部分人的同时，算法滥用、算法误用以及算法垄断也在排斥和边缘化另外一部分人，并使之日趋沦落为数字时代的“难民”或“弃民”。诸如谷歌搜索引擎有时会提供带有种族偏见的搜索建议， Bing 和 Linked-In 的推荐算法会优先提供面向男士的工作岗位， Twitter 机器人会昼夜无歇地提供虚假新闻以“污名化”政治对手和政治敌对国家，脸书（Facebook）智能问答系统还曾以“学习飙脏话”而闻名于网络。整体而言，算法歧视与一般的社会歧视和社会成见不同，一旦形成便会因不断学习而强化，从而产生持续倍增的“社会放大器效应” ，有学者甚至将算法歧视的广泛影响和持续性危害称为“大规模杀伤性数学武器” 。算法歧视产生的原因种种，主要可归结为以下三种情况：

其一，原生性偏见。主要是因为程序设计而产生，具体又分两种情形：一种情形是技术原因所致，即算法在设计学习模型时没有进行无偏差校正实验，加之在真实计算环境中数据输入很难保持不被漏报、误报并难以维持正态分布，以至于模型偏差在多次循环使用和迭代中呈几何倍数乃至指数级放大；另外一种情形则是模型设计者不可避免地将自身的价值观念、政治立场和情绪感知植入数学建模和编码过程，以至于模型从设计之初就天生带有价值偏见。就此而言，算法本身就是社会偏见和技术缺陷的产物，任何一种算法都不是完美的，因其天生偏见所产生的社会歧视在实践中更是无法消除的，唯一可行的是对其限制和约束并使之透明化，即公示算法的基本逻辑和操作缺陷，以使公众明确其可以做什么和不可以做什么，以及在何种程度上算法逻辑是可以置信的。

其二，学习性偏见。这突出表现在以机器学习和深度学习为特征的人工智能算法上，根据学习过程有无人工干预，机器学习算法一般可以简单划分为有监督学习、无监督学习和半监督学习三种类型。其中，有监督学习是给机器一个“照猫画虎”的例子，让机器在学习中自我领悟数据特征并建立模型预测样本外数据，因而数据样本很重要，如果数据样本有偏差或有偏见，则学习结果很可能习得数据“坏”的一面并放大其固有成见；无监督学习则是给出一堆数据让机器自我识别其数据结构并建立预测模型，属于“无师自通型”学习，怀有偏见的数据样本和错误的学习方向都有可能产生预测偏差，进而带来算法歧视；半监督学习介于有监督和无监督学习之间，人工少量标记样本让机器通过学习有限样本明确学习方向，进而探索未知数据，该算法思路受到人工干预和样本偏差本身的双重影响，在训练学习中同样会产生学习性偏见。

其三，外源性偏见。主要是指算法在设计和执行过程中难逃外在环境之影响，进而在外部力量影响下产生计算偏差。这些外部影响因素有很多，很难一一列举，常见的主要有：（1）资本干预，比如流量明星的影响力排名、产品的竞争力排行榜以及基于算法的荐房、荐股等投资推荐行为等；（2）数据垄断，好的算法需要好的数据来“喂养”，一般情况下高质量的数据很难获得或获取的成本较高，数据资源的垄断会使一些算法模型因使用替代数据或次生数据而产生预测偏差；（3）利益驱动，有时算法购买者和使用者会出于利益最大化对算法模型进行技术修正，进而出现参数调整型修正偏差，这些修改动因诸如公司裁员、形象维护和遮蔽过失等，以至于一些人的利益在新的算法规则下被漠视和牺牲掉；（4）技术滥用和误用，滥用主要是指未经用户同意或超出用户同意范围的数据采集和计算，误用则是因技术不熟练或运行 BUG 所导致的数据误采集和误计算。

总之，算法在提高生活质量和改善社会管理的同时，也带来了算法伦理问题。首先，算法泛滥正在威胁个人隐私安全。随处可见的智能手机、道路监控和公共交通安检设备已经基本实现了 AI技术集成，在提升公共安全的同时，算法也正在打着风险管控的旗号广泛参与人们的生活，以至于人们在享受便利的同时也在承担着隐私泄露的风险。其次，算法监视可能会限制沟通与表达自由。在数字时代，国家通常会为信息的传播建立一系列法律和技术屏障，算法则是其中的关键技术环节。借助于算法，政府可以在网络平台中限制危害社会公共安全的不良信息传播，从而在减少网络犯罪现象的同时，又能对公民进行有效监视与管理。再次，算法歧视会加深社会偏见。在网络化的世界中，算法技术如预测型分析和推荐系统可以搜集和使用个人信息，基于算法的决策可能会产生性别、宗教、肤色和国籍等方面的歧视。如许多人认为谷歌是中立的，但事实并非如此。美国加州大学洛杉矶分校的学者研究后就发现，谷歌搜索结果反映了种族主义和性别歧视。

算法规约：如何规制算法缺陷

大量的算法实践表明，未经审查、不受限制和未经许可的算法应用不仅会威胁个人隐私、商业机密和国家安全，而且极易引发种族主义、性别歧视和残障歧视，并滋生和放大其他社会偏见。有学者甚至认为：“我们正在经历一场巨变，从 COMPAS 算法、剑桥分析到谷歌和脸书的定向广告，人工智能（AI）正在全面重塑并危及我们既有的生活方式和生活态度。” 伴随着人工智能技术的飞速普及，原本由人来完成的决策与操作正越来越多地委托给算法，算法正逐步介入到个人感知、商业交易甚至是政府决策之中，由此导致的算法泛滥与算法支配已经成为数字时代的重要技术特征，算法规制的需求日益迫切。

在规则建构世界的意义上，算法即生活、算法即权力、算法即政治，但算法本身并不具备完美的预测能力和公平公正的处世态度。与此同时，算法偏见由于其内生性和外部性，也不可能完全被消除，它需要基于以下原则被限制和规范：

第一，授权同意原则。即每一个人都应该享有选择以何种方式、在何种程度以及是否愿意与算法系统进行互动的权利。为防止个人数据被算法所滥用，在算法系统收集和处理个人信息之前，个人应享有针对算法系统及其开发者和使用者的对等“知情权”，清楚了解算法设计的基本原理、算法收集数据的目的和具体处理流程和规则。在明示授权并限定授权范围之后，算法系统才可以收集并处理数据。就此而言，算法系统不得擅自超越授权性质和授权范围收集和处理数据，更不得未经用户同意强行进行数据采集和计算。换言之，未经用户同意，算法系统不得擅自与用户进行人机互动。人们应当有权决定是否使用和如何使用算法系统，而不是让算法系统为人们作出决定和选择。

第二，算法透明原则。 算法平台应该向用户明示算法系统的设计原理、部署目的、使用意义和运行规则等算法细节，以便用户明确理解算法系统可以做什么和不可以做什么，以及算法对于用户的利益促进和潜在风险，然后给予用户知情选择的权利。为了实现这一原则，算法平台需要在法律规范框架下建立强制性信息披露和信息共享机制，及时、公开且持续地公示算法系统的运行状况，包括无保留地公示被发现的运行 BUG 和技术缺陷，以便用户对风险作出防范、减损和降损。同时，由于算法风险是不断进化的，算法平台应及时更新算法说明和相关系列文档，算法偏见需要通过反馈被持续地改进。

第三，问责求偿原则。国家和行业组织应该制定一系列行之有效的机制来确保用户免受伤害，并持续监视和限制算法的滥用、误用以及未经同意的强制使用，一旦算法系统造成用户伤害，应追究算法公司和相关机构的法律责任，受害者必须有反映其伤害和追责的有效沟通渠道。任何机构和决策者在使用算法技术时都应当遵循技术自律和责任原则。在此，算法设计者、销售者和运行者，应各自厘清责任和义务。换言之，任何算法系统的部署应满足国家相关管理机构对于风险防范和问责追责的最低法律要求，用户有权利要求算法平台就损害程度进行算法赔偿。

第四，人的尊严和价值优先原则。算法是为人类服务的工具，而不应成为人类的主宰。因此，算法研究和算法的部署应该设置严厉管制和关键保护禁区，特别是有关人类生命、尊严和价值的重大事项不应轻易交由算法系统来决策，即便交由算法系统来决策也应设立严密的监视程序和严厉的法律框架，以便当算法偏见伤及人类生命和尊严时能够作出及时补救。这些严厉管制和关键保护禁区诸如算法反恐、人工智能司法审判、致命性自主武器（LAWS）研发和部署，以及其他涉及人类尊严和价值的领域。

结论

技术应当服务所有人，而不只是使少数人获得优势。放眼数字化的未来，算法将充斥于社会生活的每一个角落。算法即规则，而规则即统治，算法已然成为社会变革的关键驱动力量和新秩序的塑造者。理解算法究竟是被谁所设计、反映何种规则又是被谁所执行的，有助于我们更好地认识算法正义的本质，理性推进算法秩序的构建。就此而言，谁编码、如何编码以及如何使用编码并不只是一个技术问题，而是一个实实在在的社会正义问题。算法并不是中立的和客观的，无论是其设计还是其运行，都体现为一定的社会价值选择，因而算法本身就是社会歧视的产物，任何一种算法都有其技术缺陷和价值偏见。但算法偏见又与一般社会偏见不同，一旦形成不但很难消除，而且还具有社会放大效应，强化并夸大已有社会歧视。幸运的是，算法的负面性虽不可完全消除，但截止到目前我们一直将其控制在可接受的范围内。换言之，不是算法在控制我们，而是我们正在按我们的想法塑造算法。未来，我们应当建立一个算法偏见纠正联盟，在算法开发者、应用者、销售者、传播者以及管理者之间建立沟通桥梁，并设立管控机制，以便将算法伤害和算法偏见缩小到最小，形成一个公平、公正的算法生态体系。

有学术的思想 有思想的学术 

聚焦中国问题 

秉持人文立场

人文社科学者的平台

欢迎一起“探索与争鸣”

目 录 2021.01|2021.02| 2020.01 | 2020.02 | 2020.03 | 2020.04 | 2020.05| 2020.06 | 2020.07 |2020.08|2020.09|2020.10|2020.11 |2020.12|2019年总目录 热点  区块链|未成年人犯罪|5G|《长安十二时辰》|知识付费|留守儿童|巴黎圣母院大火|《流浪地球》|开放二胎|“佛系青年”  人物  鲁迅|施蛰存|王元化|费孝通|陈旭麓|金庸|哈贝马斯  学者  陈平原|杜维明|葛剑雄|何怀宏|季卫东|罗伯特·帕特南|沈志华|王汎森|乐黛云  观念  天下|祖国|信任|“五四·青年”|人文危机|涂层正义|全球文明  专栏 重识中国与世界|城市与文明|人工智能与未来社会  会议 数字加密货币|江南文化与城市发展创新| “科幻景观·文化· 媒介”学术论坛|大学治理使命| 网络时代知识付费与知识获取| “城市与情感”第二届中国城市问题（上海）论坛青年论坛  青年  第三届全国青年理论创新奖|第二届全国青年理论创新奖|精彩感言|优秀青年学人支持计划·第一期|优秀青年学人支持计划·第二期|青年学人优秀论文支持计划  学术圈  学术写作|高校工作时间|学术晋升机制|假期|救救博士生|“青椒”的焦虑|学术圈的“第三世界”|开题报告怎样写