郑崇明｜警惕公共治理中算法影子官僚的风险｜算法治理与治理算法②

◆ ◆ ◆ ◆

上海市社会科学界联合会主办主管

有学术的思想  EXPLORATION AND FREE VIEWS

官网地址     http://www.tsyzm.com

◆ ◆ ◆ ◆

注：近期微信公众号改版，订阅号消息不再按时间排序，为了继续收到我们的文章，希望您可以在文章底部点击“在看”或者给“探索与争鸣杂志”公众号设置“星标”（公众号界面右上角三个点）。让系统知道这是您常看的公众号，这样您以后就可以看到我们的消息啦。自2018年6月1日起，本刊只接受《探索与争鸣》网站投稿。请收藏唯一真实官网地址www.tsyzm.com。原编务邮箱[e-mail]停止使用，原投稿邮箱[e-mail]为编务邮箱和应急邮箱。

警惕公共治理中算法影子官僚的风险

郑崇明 | 深圳大学城市治理研究院研究员

本文刊载于《探索与争鸣》2021年第1期

非经注明，文中图片均来自网络

算法的两张面孔

在以机器学习算法为代表的第三次人工智能发展浪潮下，人工智能基于信息处理的优势正在深刻地改变着人们的生活方式和工作方式，并集中体现在算法上。一般而言，算法是基于机器语言的清晰指令系统地描述和解决问题的策略机制。随着人工智能时代不断发展，算法正在建构新的规则，人类已经不可避免地日益生活在一个算法社会之中。作为一项新兴技术，算法的出现引起了社会各界的高度关注，并聚焦于算法的技术属性及其带来的深远影响。一方面，算法极大地突破了人类信息收集和认知能力的局限，使得人类进入一个前所未有的算法福利时代。但另一方面，算法的强势崛起，特别是在商业逻辑的支配下也构成了对人类公开或隐蔽的宰制。比如在公共领域，对地方政府采用人工智能技术提高公共服务品质的研究表明，人工智能对公共管理者及其公共服务供给方面产生了意想不到的效果，即算法官僚主义。可见，算法具有明显的两张面孔。

算法的第一张面孔呈现了专业主义的技术特质。从本质上讲，人工智能是一种基于算法的自主决策系统，不仅突破人类的思维能力和运算速度的局限，而且能够以较低的成本将诸如图像数据、自然语言数据、文本数据、语音视频数据等非结构性信息迅速结构化，并帮助人们对未来做出预测或决策。以公共部门为例，在治理负荷日益增长与治理资源相对有限的压力下，越来越多的政府部门开始利用算法进行日常事务和决策的处理。算法的自主性决策有效地缓解了治理负荷日益增长与治理资源相对有限之间的张力。公共部门已经习惯甚至深度依赖于通过数据建构算法模型来帮助其进行日常决策和改善管理。另一方面，由于算法本身的不完备性或者使用不当，可能导致算法偏差、算法错误、算法歧视、算法黑箱、审查困难等问题，进而挑战人类的知情权、个体的隐私与自由以及平等保护， 而这正是人们最为担忧的方面。

事实上，在算法的背后还隐藏着另一张面孔，即资本性。在人工智能市场竞争异常激烈的情况下，不论是算法技术的研发还是运用都意味着天量资金的投入。显而易见，只有那些资本雄厚的企业才有足够的财力投资算法研发，如谷歌、微软、苹果等公司。作为人工智能技术，算法本身是中立的，但资本的介入赋予其天然的逐利性，“掌握了数据就意味着掌握了资本和财富，掌握了算法就意味着掌握了话语权和规制权”。因此，一旦算法“代码”投入市场运营，算法投资主体基于成本—收益的商业逻辑立即显现出其逐利本性。算法的垄断性使得资本巨头能够在极短的时间内以几何倍增的方式积累财富，进一步地，资本市场通过算法不断建构新的规则，并赋予算法独有的权力，以期建立一个新的商业秩序和商业帝国，并深深地嵌入社会各个角落。

谷歌算法

资本逐利最简单粗暴的方式莫过于与国家权力的结合。如前所述，基于缓解治理压力的考量，公共部门在一定程度上已经习惯甚至依赖于算法技术进行日常管理和决策。数据的抓取、问题的界定、议程的设置、方案的设计与选择，甚至政策的执行和评估等等都一起打包给了算法，而算法的自主决策使得政府公职人员更多地充当着“屏幕官僚”的角色。如此一来，人工智能时代的公共治理就面临算法的潜在风险，算法及其背后的资本力量将渗透到公共管理的每一个环节，并通过充当影子官僚，进而影响甚至支配政府的日常行为与公共决策。

算法影子官僚 ：一个分析性概念

一般而言，影子官僚是指通过市场机制，以直接招募、劳务派遣等方式进入政府的雇员，他们在名义上既不是公务员，也不是公共机构人员，在法律和劳动合同关系上他们甚至和政府没有正式的联系，他们主要集中在基层，并承担着税务、城管、警察、安全等方面的辅助管理和信息采集功能。事实上，古今中外不同形态的国家都或多或少地存在着影子官僚，比如帝制中国时代的各种吏役，当下中国各级政府中的编外人员，西方国家中的非正式雇员，等等，都是典型的影子官僚。影子官僚的一个基本特征是他们不是政府的正式雇员，而是“局中的局外人” 。

在已有的文献中，影子官僚或影子政府是一个经常被提及但研究不够深入的概念，主要用于测量政府的规模。而影子官僚如何影响政府行为，特别是有何负面影响的研究则不多见，并且大多数研究者持乐观态度，认为影子官僚对于降低行政成本、增强政府组织弹性有积极意义。随着人工智能时代的到来，公共部门通过政府购买的方式引入算法技术以改善治理绩效，而掌握算法的企业及其员工则可能化身为潜在的影子官僚。按照这个思路，可以把算法影子官僚界定为通过政府购买或公私合作的方式介入政府公共管理过程的算法公司及其员工，其主要目的在于影响政府以获得超额的公共财政资金。从现有的个案可以看出，算法影子官僚的形成主要有三个机制，即算法植入、算法俘获与算法支配。

首先是算法植入。随着现代经济社会的发展，人们对公共服务品质的要求越来越高。由于算法决策在提升预测精确性上具有传统公共决策中的人脑判断、专家预测和传统统计模型无法比拟的优势，为降低治理成本，回应外部需求，政府对算法表现出了极大的兴趣和需求。通过政府购买的方式，算法公司为政府解决交通管理、税收管理、政务咨询、公共安全、医疗辅助、司法判决等领域存在的问题制定并提供算法方案。总之，算法公司有技术、有能力帮助政府进行日常决策和管理，进而改善公共服务的质量。按照常规逻辑，作为契约双方的政府与算法公司只需按合同约定履行各自权利义务即可。然而，基于资本逐利的本性，算法公司很可能采取“道德风险” 的机会主义策略，即在政府购买算法服务合同签订后，算法公司在政府购买服务的项目中有目的地植入合同并未约定的算法代码，或故意留下风险空间，并预留端口，为下一次交易制造机会，以期获得更多的财政资金，进而实现其算法利益最大化目标。

其次是算法俘获。尽管人工智能已经成为后工业社会的常态，但从交易费用理论来看，政府购买算法仍然是一个小数目现象。虽然市场主体在交易过程中的选择非常大，但市场主体的交易对象受交易成本的影响，实际上发生交易的对象不仅相对有限，而且相对稳定。这不仅因为政府与算法公司在信息技术上具有不对称性，以及重新寻求算法购买主体需要付出高昂的交易成本，更因为算法本身处于激烈竞争的市场中，与政府保持长期合作对于算法公司而言符合其不断扩大市场占有率以不断增进其收益的核心诉求。这样一来，在算法项目实施后，政府为了弥补购买项目中的算法漏洞并降低交易成本，更倾向于继续与之续约，进而建构一个周期性的“算法植入—政府购买—算法再植入—政府再购买”的路径依赖。这一路径的形成意味着政府在很大程度上已经为算法所俘获，成为算法公司的“杀熟”对象。不同于 20 世纪 90 年代的政府俘获理论——企业向政府官员进行非法的、不透明的私人支付，以期影响政府机构的法律、规则、规章或者命令的制定， 算法俘获更多的是通过算法植入影响政府管理的过程来影响政府行为，而不是通过与政府官僚的私相授受寻求租金。因此，算法俘获在本质上反映了算法公司基于商业逐利逻辑对政府的算法嵌入，并使之深度依赖于算法公司。

最后是算法支配。一旦政府对算法形成依赖，算法就在很大程度上对政府的日常管理和公共决策拥有了潜在支配权。算法支配政府的根本原因在于算法资本拥有垄断性的大数据和算法技术。正是在这个意义上，才出现了所谓的算法傲慢与偏见。在商业逻辑的主导下，算法研发者更加倾向于用有利于其利润最大化的算法代码与算法程序去影响甚至支配政府的日常行为，进而演化成为算法权力。算法权力是掌握算法技术的个人和企业利用自身的技术优势和行业便利，把控社会资源及信息，直接引导政府作出决策的影响力。换言之，在公共治理算法路径依赖的场域中，部分掌握了人工智能核心算法和海量数据的算法资本开始拥有了相对于政府的明显的技术优势，算法权力将在未来国家治理中发挥愈加重要的作用。资本对算法技术的垄断及其在数据处理和应用上的技术优势，将在很大程度上助推资本对国家权力优势的形成。公共治理在某种程度上也很难按照自身的逻辑行动，而是取决于算法技术在多大程度上能够给予支持。由此，算法不仅支配着公共治理的整个过程，而且决定着公共治理的绩效产出，进而导致算法权力对抗甚至消解公共权力的潜在风险。

通过算法植入、算法俘获与算法支配，算法公司完全可能实现其从商业主体到算法影子官僚的转变。政府在前台、算法影子官僚在幕后的格局犹如一只“无形的手”，渗透到政府管理的方方面面，深刻地影响政府的行为。从概念来看，算法影子官僚既有历史上影子官僚的共性，也有其自身的独特性。归纳起来，算法影子官僚的主要特征包括专业性、逐利性与隐蔽性。

一是专业性。算法影子官僚的专业性集中体现在算法技术上。算法影子官僚掌握了现代科技最前沿的算法技术。而对于大多数政府官员而言，算法更多的是一个“黑箱”，他们只能被动地接受算法的支配。算法技术的不对称直接赋予算法影子官僚以算法权力，以及制定人工智能时代规则的权力。从工具理性的角度来看，思考和行动的目的都是被假定给定的。政府何为以及政府如何为，在很大程度上都受到算法影子官僚的专业性影响。因此，在某种程度上，算法决策把本应由政府部门承担的决策责任转移给了算法公司及算法影子官僚。

二是逐利性。逐利性是算法影子官僚最为根本的特征。算法影子官僚以算法公司为载体，在本质上是市场化的企业，其运作过程遵循商业逻辑，以追求资本利益最大化为核心目标。算法技术是建立在庞大资本投入基础上的，作为现代科技的前沿阵地，算法的投入更加具有不确定性，其所面临的市场竞争也非常残酷。因而与其他市场主体相比，算法公司可谓秉持“经济人”本性，更加注重资本的投入产出，至于其结果是否具有正当性，是否引发系统性风险，等等，则不在其核心诉求的考虑范围之内。如前所述，资本逐利最简单粗暴的方式就是与国家权力的结合。算法公司在设计和研发算法的过程中植入了特定的偏好和意图，致使绝大多数算法从诞生之日起就存在特定的利益倾向。在算法技术的加持下，算法影子官僚将积极嵌入、影响政府行为，不遗余力地创造机会获取超额的公共财政资金。

三是隐蔽性。政府在前台、算法影子官僚在幕后的格局，直观地呈现了算法影子官僚的隐蔽性特征。算法影子官僚披着科学、理性、效率的外衣，更加有利于其俘获并支配政府行为。一方面，越来越多的政府部门试图通过算法提高公共部门的效率，改善公共服务品质和社会公众的体验感，以至于忽略了算法资本对政府行为潜移默化的影响。换言之，算法影子官僚的隐蔽性是通过算法技术的植入来实现的。另一方面，大多数政府及其公职人员对算法的认知相对肤浅，难以有效地识别算法技术的潜在风险。相反，由于算法在日常决策与管理等方面的自主性极大地缓解了政府治理压力，因而政府表现出对算法及其影子官僚的浓厚兴趣与过度依赖。正是在技术理性的掩盖下，算法影子官僚不仅具有隐蔽性，甚至带有欺骗性。而对于享受算法公共服务的社会公众而言，则几乎完全处于被动接受的状态。

算法影子官僚与政府空心化

在已有的研究中，人们已经关注到了算法带来的潜在风险。换言之，人工智能精准治理潜藏着巨大的隐忧，特别是算法歧视、算法偏见等对公民基本权利、法治框架与行政伦理的挑战。但也不难看出，这些研究主要还是从纯技术的角度来探讨算法对公共价值的潜在威胁。事实上，掌握算法技术并嵌入政府组织的算法影子官僚更值得关注。如果不加以重视，算法资本将在未来对国家权力形成巨大的挑战。

在人工智能时代，几乎政府的每一个职能部门都渴望借助算法技术来缓解治理压力，并表现出对算法的高度依赖。而算法公司的商业逻辑和资本逻辑强势地影响着政府的行为，甚至绑架政府。这预示着一个新的影子官僚正在形成，正在改变治理秩序。如果不对算法影子官僚加以规范和约束的话，可以预见的是，算法影子官僚将以算法权力消解公共权力，以盈利思维驱逐公共价值，以算法秩序支配公共领域，进而导致公职人员蜕变为“屏幕官僚”，致使政府日益走向空心化。

首先，算法影子官僚将极大地改变政府的人事结构。人事结构是政府的核心组成部分。在韦伯主义看来，官员是受雇于政府的全职雇员。然而，政府组织中的人事结构并不单纯。在正式官僚的背后，都或多或少地集聚着各种非正式群体。比如当代中国地方治理的人事结构就是一个包括官僚群体（公务员）、派生群体（事业编群体）、雇佣群体（通过市场机制建立起来的辅助群体）的有机组合。这三种群体围绕科层组织的行政权力形成了一个差序格局。尽管雇佣群体的身上具有明显的影子官僚的特征，但他们处于行政权力的边缘，并不能从根本上影响政府，他们至多是依附于政府组织并分享部分公共权力。与雇佣群体不同的是，算法影子官僚虽然也是通过市场机制与政府及其公职人员打交道，但却通过算法技术深刻地改变了其与政府之间的关系。算法影子官僚虽然身处外围，但却几乎嵌入了政府的各个角落，与政府及其公职人员形成了一种看似松散实则紧密相连的关系，使得政府的人事结构呈现出一种新的秩序，即算法影子官僚隐藏在正式官僚的背后操控政府行为，而政府官员则成为“屏幕官僚”。在算法影子官僚的技术操控下，政府官员机械地操作行政流程，甚至作恶而不自知。

其次，算法影子官僚将汲取超额的公共财政资金。作为算法公司的代理人，算法影子官僚遵循商业逻辑与资本逻辑。如前所述，如何获得更多的公共财政资金是算法公司最大的诉求。由于算法技术的高度不对称，算法影子官僚在与政府签订交易合同的过程中更容易采取机会主义行为，并借口技术研发、平台建设、后期维护等投入而拥有较高的议价能力。与其他项目不同，与算法相关的项目涉及的资金都非常巨大，而算法植入、算法俘获与算法支配都为算法影子官僚汲取超额的公共财政资金提供更加隐蔽的方式。事实上，几乎所有的算法公司都不断地向政府兜售新的版本，而不管客观上是否有真的需要。

再次，算法影子官僚将不断消解政府的公共权力。政府是典型的科层组织，具有高度程式化、高度正式化和高度集权化的特征，并通过行使公共权力以处理公共事务、维护公共秩序、增进公共利益。然而，在人工智能时代，算法影子官僚通过算法权力对公共权力构成了新的威胁。对算法技术进行抢先一步研发设计的早期组织和商业主体控制了算法的设计标准，进而执掌算法权力，即支配着利用算法技术输入数据、输出决策的权力。在很大程度上，算法权力正在逐渐形成一种“准公权力”，使得传统的权力格局发生了权力主体去中心化、权力作用范围的延展化和权力互动的双向化之变迁。比如在政府决策过程中的问题界定时，算法影子官僚完全可能基于商业逻辑而进行前期植入，以及直接的程序操纵，进而导致预测失败和偏误。这样一来，政府不仅失去了自身的自主性，而且将更加依赖算法影子官僚，由此形成的政策方案也将受到算法权力和程序的操纵而形成虚假的支持，导致政策方案的劣币驱逐良币，最终可能导致公共决策违背公共精神，损害公共利益。

最后，算法影子官僚可能使政府官员日益蜕变为“屏幕官僚”。在引入算法之后，算法影子官僚把本应由政府部门、公众和专家等共同参与、互动协商的执行过程，退化为算法公司秘密进行的算法设计和数据处理过程，把决策责任交给了充斥复杂计算与最优化的模型和冰冷的数据。而政府官员则几乎完全失去了问题识别、议程设置、方案选择、政策执行与政策评估的自主性。对于政府官员而言，他们更多地充当“屏幕官僚”的角色。虽然看起来“屏幕官僚”通过计算机网络精准操作并直接管理和控制着公共管理的过程与结果，但事实上，几乎所有的流程都为算法所设定。他们无法在算法中注入公共精神，尤其是不能根据特定的场景作出相应的价值判断。换言之，这些流程的背后真正发挥作用的是遵循资本逻辑的算法影子官僚。

总的来讲，按照现有的发展趋势，算法影子官僚完全可能改变传统的科层组织体系，不管是在人事结构、财政分配、权力配置，还是官员角色方面，算法影子官僚都积极嵌入并发挥作用，在商业逻辑的支配下不断扩大资本的影响力，潜在的巨大风险是政府的日益空心化。这不仅会削弱政府提供公共产品的能力，而且将侵蚀政府的合法性基础，进而引发政府的信任危机。

算法不对称及其治理

毋庸置疑，从技术层面而言，算法是中性的，对于改善公共治理、有效回应社会需求具有重要的积极意义。然而，算法的背后是资本与算法影子官僚。资本的逐利性决定了算法的实施者，即算法影子官僚必然遵循商业逻辑，以获得政府公共财政资金为最大诉求。公共领域算法治理的一个显著特点就是公共权力屈服于技术公司及其开发人员的私人控制。在算法植入、算法俘获与算法支配的作用下，算法影子官僚凭借算法权力，利用算法不对称，足以挑战国家权力。

算法影子官僚以政府购买服务的方式嵌入政府，实际上是一种委托代理关系，并以合同的方式来建构双方的权利与义务。政府作为委托方，期待借助算法缓解治理压力 ；算法影子官僚作为代理方，则遵循商业逻辑，以期扩大资本影响力。因此，两者之间不可避免地存着信息不对称和激励不相容等问题。由于存在信息非对称、信息不完全、机会主义和合同内在不完备等因素，以及合同的市场化逻辑与政府的公共属性之间存在必然冲突，政府合同治理也不可避免地将产生一列委托代理的风险问题。 

算法影子官僚之所以能够挑战，甚至支配公共权力，关键还是在于政府与算法公司之间委托代理结构下的算法不对称，即算法“黑箱”。算法“黑箱”本质上归属于技术“黑箱”。在“黑箱”中，除了掌握算法的专业技术人员，其他人无从知晓输入—输出之间的相互作用是通过怎样的结构才得以发生的。具体来讲，算法是什么，算法代码如何生成，以及算法如何收集信息、设置议题、设计与选择方案，等等，政府及其官员几乎都是一无所知或知之不详。大多数政府官员所看见的是输入前局部叙事的碎片化信息以及输出结果的简单直观呈现，而无法获得算法全景式的客观认知，以及对算法及其影子官僚的算法植入、算法俘获与算法支配进行有效的约束。而这恰恰是算法权力消解公共权力，致使政府日益空心化的重要根源，其结果将导致政府在算法社会中逐渐被边缘化。 

因此，规避算法影子官僚所带来的潜在风险，需要从委托代理的角度，消除政府与算法公司之间的算法不对称，从而根治合同中算法影子官僚的“逆向选择”与“道德风险”。

首先，要加强政府算法专业人才的培养。算法影子官僚之所以能够对政府进行算法植入、算法俘获与算法支配，其中一个重要的原因在于政府缺乏算法专业人才。精于行政技能的科层官僚无法识别算法及其影子官僚所带来的潜在风险。从这个意义上讲，降低算法不对称最为重要的策略就是在政府内部培养算法专业人才。只有这样，才能打开算法“黑箱”，有效防范算法影子官僚利用算法不对称而采取机会主义行为，使政府官员不至于被算法影子官僚牵着鼻子走。

其次，要建立事前算法审查机制，规避算法影子官僚的逆向选择行为。算法影子官僚对于政府的算法植入在本质上是一种逆向选择，即利用其对算法技术的优势，采取欺骗性行为以谋求超额的公共财政资金。因此，有必要建立算法事前审查机制以防范算法影子官僚的机会主义行为。具体而言，可以从算法准入条件、第三方独立评估、行政和司法审查等方面入手，全面评估算法影子官僚提供的算法方案的合法性、合规性与经济性。

再次，要建立事后责任追究机制，消除算法影子官僚的道德风险动机。当出现算法风险时，政府行政人员往往倾向于把责任诿过于算法及其影子官僚，而对算法及其影子官僚又难以进行司法审查，使得责任主体模糊不清，导致算法决策陷入审查难、问责难的窘境， 而这正是算法影子官僚的避责空间。因此，有必要建立事后算法责任追究机制，比如通过建构一套完善的信用评价体系，确立对算法公司的惩戒规则。

最后，公共治理应坚持以人为中心的价值立场。公共治理并不是算法的自由之地。公共治理的目标归根结底是为了增进公共利益，实现人的自由和发展。对于政府而言，算法只是公共治理主体手中的一把枪，究竟如何使用这把枪，最终还是取决于公共治理主体。换言之，只有公共治理主体才有权决定哪些领域可以引入算法，哪些领域应当禁止算法。因此，公共治理不能成为算法技术支配的对象，也不应过度依赖于算法技术。

综上所述，算法影子官僚可能成为影响政府行为的重要变量。算法影子官僚在为政府提供算法技术支持的同时，通过算法植入、算法俘获与算法支配等方式可能改变政府的组织结构、人事结构与权力结构，进而影响并左右政府的日常行为，成为算法公司汲取财富和资本扩张的重要手段，最终对国家权力形成巨大的挑战，甚至致使政府日益空心化。究其根源，关键是政府与算法影子官僚之间存在极大的算法不对称，因而在政府内部培养算法专业人才，并在法律上建立健全约束算法公司的行业规范以及事前审查和事后追责机制，对于规避算法不对称带来的算法公司的机会主义行为具有重要意义。而坚持以人为中心的公共治理，避免公共治理过度依赖算法、依赖技术，方是治本之策。

有学术的思想 有思想的学术 

聚焦中国问题 

秉持人文立场

人文社科学者的平台

欢迎一起“探索与争鸣”

目 录  2020.01 | 2020.02 | 2020.03 | 2020.04 | 2020.05|2020.06|2020.07|2020.08|2020.09|2020.10|2020.11 |2020.12|2019年总目录 热点  区块链|未成年人犯罪|5G|《长安十二时辰》|知识付费|留守儿童|巴黎圣母院大火|《流浪地球》|开放二胎|“佛系青年”  人物  鲁迅|施蛰存|王元化|费孝通|陈旭麓|金庸|哈贝马斯  学者  陈平原|杜维明|葛剑雄|何怀宏|季卫东|罗伯特·帕特南|沈志华|王汎森|乐黛云  观念  天下|祖国|信任|“五四·青年”|人文危机|涂层正义|全球文明  专栏 重识中国与世界|城市与文明|人工智能与未来社会  会议 数字加密货币|江南文化与城市发展创新| “科幻景观·文化· 媒介”学术论坛|大学治理使命| 网络时代知识付费与知识获取| “城市与情感”第二届中国城市问题（上海）论坛青年论坛  青年  第三届全国青年理论创新奖|第二届全国青年理论创新奖|精彩感言|优秀青年学人支持计划·第一期|优秀青年学人支持计划·第二期|青年学人优秀论文支持计划  学术圈  学术写作|高校工作时间|学术晋升机制|假期|救救博士生|“青椒”的焦虑|学术圈的“第三世界”|开题报告怎样写