AI监管 | 意大利因骑手算法歧视问题对两个食物配送公司处于高额罚款
编者按
2021年，全球范围内对于人工智能的监管已经开始从理论探讨走向实际的立法和执法阶段，标志性的事件就是欧盟提出了《欧洲议会和理事会关于制定人工智能统一规则（《人工智能法》）和修正某些欧盟立法的条例》的提案。本公号今日发布该《提案》的全文翻译。
关于人工智能安全和监管，本公号发布过以下文章：
今天和大家分享的是一则新闻报道——意大利的个人信息保护机构因对送货骑手算法歧视问题，对两个食物配送公司除以数百万欧元的罚款。
意大利的个人数据保护监管机构对该国最大的两家在线食品递送公司——Deliveroo和Foodinho——处以数百万欧元的罚款，因为它们使用的算法歧视了一些"零工经济"工作者。
监管机构表示，两个公司根据人工智能（又称机器学习）算法评估所雇佣的快递员的工作表现，快递员可能会受到惩罚。但这些算法仍然是保密的，快递员无法对任何此类评估提出上诉。此外，监管机构表示，这些公司无法证明其算法没有歧视性。
因此，意大利的数据保护机构，即 Garante，周一宣布对Deliveroo 违反欧盟
《通用数据保护条例》处以290 万欧元（300 万美元）罚款。
此前，Garante于7月5日宣布，在对 Foodinho的意大利业务进行调查后，它将对该在线食品递送平台违反 GDPR 的行为罚款 260万欧元（310万美元）。它还发布了一项禁令，要求作出具体的改进。
"这两起案件对科技企业尤其具有重要的教训，并显示了人工智能和GDPR之间的一些冲突"，总部位于伦敦的律师事务所Cordery的合伙人乔纳森·阿姆斯特朗（Jonathan Armstrong）律师说。
Deliveroo 没有立即回应对 Garante 调查结果的评论请求，Foodinho 也没有回应，据说它计划对罚款提出上诉。
针对Foodinho的调查
Foodinho由总部位于西班牙巴塞罗那的Glovoapp23 拥有，是一家按需送餐服务。2019年6月，作为与西班牙数据保护机构（即 AEPD）联合调查的一部分，Garante 对其进行了为期两天的搜查。AEPD对Foodinho的西班牙业务的调查正在进行。该企业还在非洲、欧洲、亚洲、中美洲和南美洲的其他22 个国家开展业务。
Garante说，它发现该公司用于管理其意大利工人的算法——为他们预订订单和分配交货——正在侵犯这些工人的权利。
Garante 报告说，所有送货人员或"骑手"——通常是自行车或轻便摩托车司机——最初得到的分数是一个默认值，随后根据以下特点和权重进行调整：
客户反馈：大拇指向上或向下的大拇指 - 15%。
商家 - 5%。
在需求旺盛的时段工作- 35%。
交付的订单 -10%。
生产力 - 35%。
得分较高的工人获得了在其他人之前获得新的订单的能力。但 Garante 发现，该公司的做法未能尊重工人的权利。
"例如，该公司没有充分告知工人该系统的运作，也没有保证用于评估骑手的算法系统结果的准确性和正确性"，监管机构认为：“它也没有保障程序，以保护获得人工干预的权利，表达自己的意见，并对通过使用有关算法通过的决定提出异议，包括将一部分骑手排除在工作机会之外。"
因此，Garante命令Foodinho修改其系统，以核实预订和分配算法没有歧视他们，以及修改一些过长的个人数据保留做法。
Garante 命令该公司支付260万欧元的罚款，这不仅是基于人工智能的问题， 也是基于该公司没有设立数据保护官和没有保存足够的记录。它说，罚款金额还考虑到了"该公司在调查期间提供的有限合作，以及意大利涉及的大量骑手——在检查时约有19000人"。
防止自动决策的保护措施
Cordery的Armstrong说，Foodinho 正在使用的算法被发现违反了 GDPR 第22条，该条涉及"自动个人决策，包括画像"。
"根据GDPR第 22 条，个人有权不接受完全基于自动处理的且产生有关他们的法律效力或类似的重大影响决定，包括画像，除非某些例外情况适用并且对这些个人的具体保护措施到位"，律师说。
"调查发现，该平台使用算法自动惩罚骑手，如果他们的评分低于某一水平，就将他们排除在工作机会之外，这是一种歧视，而且没有机会进行人工审查，也没有能力质疑这一决定，这违反了GDPR。"
对Deliveroo的调查
同时，周一，Garante 宣布了其对 Deliveroo的禁令，日期为7月22日。
总部位于伦敦的Roofood公司成立于2013年，以Deliveroo的名义开展业务，不仅在意大利和英国，还在荷兰、法国、比利时、爱尔兰和西班牙，以及澳大利亚、新加坡、香港、阿拉伯联合酋长国和科威特开展业务。
2019年6月，作为对食品配送企业调查的一部分，Garante突击检查了
Deliveroo 的办公室，在两天的时间里收集信息并进行采访。
根据Garante的处罚通知，以下是该系统的运作情况：Deliveroo的意大利业务依赖于一个托管在爱尔兰数据中心的集中式系统，该系统用于支持8000名自雇承包商的骑手。每个骑手都与Deliveroo 签署了协议，然后获得一个应用程序，他们必须在自己的移动设备上安装该程序，并在轮班时使用。
对于Deliveroo的意大利业务，经理们将信息输入位于爱尔兰的中央系统，该系统将对骑手的表现进行评级，但没有透露正在使用的逻辑。Deliveroo告诉监管机构，"它只能访问它能影响的数据，为共享数据库提供信息，而不决定处理的逻辑"。
Garante 发现，被用来评价骑手的信息包括：
骑手是否可以在周五、周六和周日晚上等"关键时间段"工作。；
骑手是否按照预订完成了订单，还是在订单开始后取消；
骑手交付订单的速度如何。
评价较高的骑手有机会获得更多和更有利可图的工作。但与Foodinho案一样，除其他问题外，Garante 说其调查发现了围绕Deliveroo如何使用算法分配工作的多个透明度和公平性方面的问题。
例如，GDPR 第5条"有关个人数据处理的原则"规定，个人数据必须"以合法、公平和透明的方式对数据主体进行处理"。
"作为其中的一部分，控制者应该能够证明其算法不具有歧视性"，阿姆斯特朗说，"Deliveroo 说，自检查以来，它已经改变了平台，但 Garante 强调， Deliveroo有责任'定期验证算法结果的正确性，以尽量减少扭曲或歧视性效果的风险'。"
对工作人员进行算法管理的最佳做法
阿姆斯特朗说，这两个意大利案例为任何使用"员工的算法管理"的组织提供了教训。首先，他建议所有此类组织必须首先进行数据保护影响评估，彻底测试他们的算法是否有任何偏见的迹象，并告知员工公司是如何使用算法来对他们做出重要决定——同时也要以一种易于理解的方式解释算法的功能。
了解当前的人工智能使用规范也会有所帮助。"可以多方咨询"，阿姆斯特朗说，"道德委员会和/或员工焦点小组可以成为有用的回声板，以衡量这些措施是否可能被认为是过度侵犯隐私的”。
阿姆斯特朗补充说，有太多的"人工智能 "应用没有达到这个要求，因此可以预期监管机构对工作场所的算法将进行更多的隐私调查。
他说："我们看到的大多数东西都是简单的编程——一个公式或算法，它计算出的东西大致是：'在这个测试中获得128分的人更有可能成为一个会留下来的好员工'。
"这里的问题是，这往往是偏见或直觉被打扮成科学，然后被编入算法。通常这种东西是没有道理的，是歧视性的。例如，如果我在算法中排除了所有拒绝在周六或周日工作的人，这是否会因为一些人的宗教信仰而将他们排除在外？"（完）
域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：
DPO线下沙龙的实录见：
自动驾驶系列文章：
数据安全法系列文章：
个人数据与域外国家安全审查系列文章
围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：
第29条工作组/EDPB关于GDPR的指导意见的翻译：
关于美国出口管制制度，本公号发表过系列文章：
供应链安全文章：
数据跨境流动政策、法律、实践的系列文章：
传染病疫情防控与个人信息保护系列文章
关于数据与竞争政策的翻译和分析：
数据安全法系列文件：
中国个人信息保护立法系列文章：
健康医疗大数据系列文章：
网联汽车数据的系列文章：
人工智能安全和监管的系列文章：
关于中美与国家安全相关的审查机制的系列文章：
美国电信行业涉及外国参与的安全审查（一）：基本制度介绍
美国电信行业涉及外国参与的安全审查（二）：国际性的第214节授权
美国电信行业涉及外国参与的安全审查（三）：建立外国参与安全审查的行政令
美国电信行业涉及外国参与的安全审查（四）：FCC对中国企业的陈述理由令
网络空间的国际法适用问题系列文章：
赴美上市网络、数据安全风险系列文章如下：
人脸识别系列文章：
关于欧盟技术主权相关举措的翻译和分析：