一个硅谷残障女科学家眼中的AI数据标注
我们已经举办了8期数字经济与残障女性就业讲座，其中第五期的飞行嘉宾是吴少玫老师，她是一位言语障碍者，本科毕业于清华大学，后来在康奈尔大学获得博士学位，并且曾经在Facebook担任科学家，现在是技术性非营利机构Almpower.org的创始人兼首席执行官。
上一篇中，残障伙伴晓雯作为数据标注的从业者为我们带来了精彩的分享。本期，吴少玫老师将从她一个数据科学家的角度来分享她对于人工智能数据标注的看法。
前言：
我本身没有从事过数据标注的工作，但是因为我之前是人工智能方面的研究者，所以我先前上班的时候经常请人来标注数据，所以我可以从一个研发的角度讲一下我的经历和体验。
我最大的心愿就是想听一听社群朋友们的想法，所以也期待在和大家交流的过程中了解大家，毕竟从我的角度来谈论对数据标注这份工作的观感还是比较有限的。就像先前晓雯说的很多挑战、强度或者是压力，我作为一个甲方还是可以体会到的，因为我能想起我作为甲方时也常常给数据标注师很多压力，我觉得还蛮惭愧的。
为了让大家更好地理解甲方对数据标注员的需求，我就从常见的研发流程讲起吧。
01
研发流程造成的间接性剥削
我们做研发需要训练某一种模型，而训练就需要很多的数据做支撑。
我们通常会采用以下有三种方式来做数据标注，一是众包的方式：我们会把需要的数据、标注的规则都发到众包平台上，然后众包平台上就会有很多的众包员来投标我们的项目。在这种方式下我们看不到具体是谁在做这份工，对标注的数据要求也没有设特别大的限定，大部分时候只要标注者可以完成我们的标注任务就行了。
第二种方式是外包：我们会找到一家公司，将我们的需求告知给公司，然后公司就可以去找适合的人或者全职的人帮我们做完。
第三种是内包，我们内部有一些员工的工作就是标注数据，他们中的一些是全职的，有一些可能也是合同的。这种方式的保密性比较好，我们有一些比较核心的、有保密性要求的数据都会要求内部的员工来进行标注。
这三种方式有一个比较相同的地方。作为工程师，我们和标注员之间的联系比较松散（距离比较远），我们根本看不到标注员是谁，我们所看到的就是我们的数据，标注员只管将标注好的结果给我们就行。这种职业距离造成了双方之间心理上的距离。随着双方间的关系变成交易型，即我们付钱，他们办事，我们就会追求最高性价比，希望在一个最短的时间内获得最好的数据。
我觉得甲方经常会产生这样的期望，而这种期望实际上很容易产生剥削，形成不太公平的状态。我觉得目前为止数据标注行业还是以甲方市场为主。比如，我们每给出一个标注的任务都会有很多公司来竞标。对于大公司来说，他们自然不愁找不到从事标数据的人，他们能提供的职位就那么多，想进入这个行业的人又多，僧多粥少，大公司就更有主动权，有时候就会导致这个行业的竞争进入到一种比较白热化的状态。而我们作为工程师其实也看不到标注员的工作状态，所以很难有同理心。这是我个人感觉不太好的一个方面。
▲一个人掌控着天平，天平的一边是员工，一边是金钱
我做过的项目很多，其中有两比较典型的，我也比较熟悉，可以和大家分享一下。
02
项目一：图片描述
但凡出现在脸书上的图像，我们都会根据图像生成一个简短的描述，描绘这个图上的一些场景、人物。
我当时带领我们团队做这个的时候也需要请人标注很多图像，每一个图出来我们都需要有人来描述它。这个项目当时是内包的，因为这个项目一开始做的时候还算是比较保密，但是我们的内包员工实际上据我所知并不在美国，而是在菲律宾，所以他们的薪水也比我们美国本土的员工要低很多。
这个项目的执行其实还挺困难的，因为要人去描述一个图片其实蛮复杂的，特别是当这些图片描述是为视障朋友服务的时候，这种描述和你写一个配图的文字差别很大。所以我们前前后后处理了很久，为了保障图片描述的质量，就要求我们把标注规则讲清楚，以便保证标注员可以顺利执行标注。
这个标注最后取得的效果不是特别理想，所以作为开发方的我们决定修改标注任务规则：要求标注员对于每一张图都写出他所看到的10个东西，比如说可以看到人、披萨、桌子、餐厅之类的，这样就让这个任务变得更加可控一点。我们再利用他们标注出来的这些事物去重新写一个句子。
▲餐厅里，木制桌子上摆着一块披萨，标注员需要根据给定的图片写出看到的十个东西
这个项目让我意识到——很多开发方觉得挺容易的任务，实际上很难和标注员达成一个共识，我们之间的沟通实际上是一个反复的过程。这个过程中，标注员更多是处于弱势地位的，因为开发方其实没有想好标注的规则是什么，而导致事先标的好几批数据返回来后我们觉得不过关。这个问题根本上是开发方没有事先确定好规则，但在实践中通常会造成标注员辛苦标注的很多数据被我们拒收，或者被我们认定为不达标。
所以在这个项目中我学到最多的一个点就是：我们作为甲方一定要想清楚我们要什么，并且给定一个非常清晰的规则。要是我们没有做到以上的事情，我们就要负起责任，而不能将责任全部推卸给对方。
03
项目二：文字修改
这个项目是想要帮助有读写障碍症的朋友可以更流畅自信的写作。标注的任务就是要求标注员修改有很多语病的句子，每一个句子都需要至少两个人，有的时候甚至需要三个人进行反复修改。
我们将这个任务外包给了一家名为APEN的公司。这家公司目前在美国标注界很有名，脸书和其它很多公司都是找他们外包。在这个项目里，外包公司给我们安排了一个项目经理和我们对接。
负责对接的经理比较有经验，很擅长帮助我们想好项目流程和定下比较清晰的规则，这就让整个标注工作变得更加容易完成了。我很感谢这位专业人士，ta承担了比较好的沟通作用。
在这个项目中，我们对标注员设置了比较高的门槛，要求达到文科硕士学历及以上的人员。公司找了大概七八十个符合这个条件的人，很快就标完了。
那么这些有资质的标注员会得到多少酬劳呢？
我大概估算了一下，每个句子我们大概付了1美元左右。我当时亲自标注了大概二三十个，花了我一小时左右的时间。因为我们州最低时薪大概是16美元，所以我觉得1美元一句挺便宜的，而且考虑到这个钱是付给外包公司的，公司肯定中间要提取掉一些，估算每一个标注员最终可能只能获得十几二十美分。这样子算一下，要是标注员住在美国的话，实际上他们的薪资并没有达到加州最低时薪。因此，付钱的时候我是感到有些吃惊的，最后结账的时候我也觉得有点羞愧。
▲一个面露忧伤的人坐在凳子上哭泣，下面写着“工资那么少”
以上就是我分享的第二个项目。
04
标注员都面临哪些困境？
我自己亲身体验过的这些项目里面，我个人总结到的标注员面临的挑战其实和晓雯提到的差不多。
第一个挑战是劳动报酬比较低。
虽然我个人不清楚每一个标注员的时薪（因为很多的工作都是通过第三方来交接的），但是美国众包平台上面好像有很多相关的研究统计表明大部分标注员（大概96%的人）都没有办法拿到美国联邦最低时薪。新闻的报道和一些学术研究中也有很多的数据证明标注员的薪酬偏低。
第二个挑战是标注工作的稳定性不高。
可能是因为数据标注入门的门槛比较低，所以据我所知，外包公司很少和标注员签订长期合同，很多都是签订短期或者是一些临时的合同。
这种短期不稳定的合作关系会导致很多的福利标注员不能获取，比如医保或是别的福利。短期合同也意味着很难转正，因为转正以后要付的保险或者福利就会相应更多，所以外包公司为了节省一些别的劳务开销也是不太倾向于把短期工转正。
据跟我交接过的外包公司的项目经理说，他所负责的大部分标注员通常很快就会离职（可能六个月到一年），可能是因为工作条件或者是很多别的原因，总之大部分不会长期做。
第三个挑战是身心强度比较大。
凡是我经手的项目我都会被标注员们的效率和速度震惊，至少在我自己试标的时候我是很难胜任的。并且相似的任务要做几百，几千次，工作强度可想而知。
很多时候，标注员也没有权利选择要标注什么样的工程，所以有的时候可能会标注到对于心理有一些负面影响的内容。比如脸书就经常标注一些不合规的内容，这些内容常常会有一些非常阴暗的、非常反社会的东西。所以据我所知很多标注员心理压力很大，新闻上也有类似的报道：“创伤应激症”可能就是因为长时间、高强度的标注负面内容而产生的。前两年脸书还有因此被告的记录，付给了标注员们5200万美元的赔偿。
▲一个卡通形象双手捂着脑袋，混沌的思绪凝结为一团黑色的雾团。很多标注员有很大的心理压力。
最后一个挑战是职业的上升空间比较小。
虽然标注工作具有很高的重复性，但是每一份标注之间一般是没有联系的，因此上一份标注工作学到的知识在下一份工作中没有办法再应用。比如像我前面提到的两个项目，标图像和转写文字，两份标注经验之间的互通性、承载性并不强。
另外，我在此领域工作这么长时间，还从来没有听说过有哪些标注员最后转岗成为PN或者成为工程师的，大部分人就只是将数据标注做为一个短期的过渡性的职业。所以，标注员在这个行业中的成长性不得不让人心生疑虑。
说了这么多挑战，也不是说数据标注就是不值得做的工作。
我个人觉得这份工作肯定也有它的价值所在。根据晓雯的分享，至少薪酬在国内还算合理，而且也是一份灵活性比较高的工作。如果有朋友想要进入数据标注行业，我的建议是在考虑清楚个人条件和需求的情况下可以进入。但是我也小小地呼吁一下，我希望大家可以在这个行业中团结起来，共同抵制甲方在雇佣关系中过度的权利。
最近在非洲就有很多大公司标注数据的雇员成立了一个工会。通过成立工会，大家可以团结起来，更有效地争取自己的薪酬、权益或者是保障。所以，我也希望国内的小伙伴们在有基础或者是环境允许的前提下可以团结起来。
05
Q&A-问答环节
Q
数据标注是否可以发展为每个残疾人都可以受益的工作？比如以一种兼职的方式兼顾居家不方便外出的、有工作需求的残障人？
A
在美国，数据标注一个挺常见的兼职，并且是可以远程工作的职业。这种兼职的工作方式大大地提升了人们工作的灵活性，人们可以更灵活地控制工作时间和地点。但是，也因为是兼职的缘故，收入相对也就会比较低，很多都是计件收入，并且会出现很多人争一个项目的现象，行业“卷”起来也会影响收入。
Q
人工智能在未来是否可以改变障碍者的生活和就业？
▲人工智能机器人的手和人类的手紧紧相握
A
我相信人工智能有这个潜力。所以我自己的很多工作都是在围绕：如何让人工智作为一种能够帮助所有人的工具，帮助残障或是非残障的人能够更好地参与社会生活。
我们先前就和很多视障的小伙伴一起做了很多训练，训练很多模型，描绘图片、描绘视频。现在手机所带的相机功能就可以作为视觉功能的辅助工具。我们也做了很多语言模型，帮助一些语言障碍或者是一些心智障碍的伙伴可以更好地通过语音或文字和外部世界发生连接。
但是，人工智能的发展也存在一个很大的危险。
现在人工智能界99%的资源都没有用在发展残障人士潜力身上，大部分的资源（无论是钱还是人力）都投入在比较主流的用户身上。这种资源倾斜往往是以牺牲少数者的权益为代价的。比如我们最近在研究的语音模型实际是以牺牲某些有着比较特殊的发音方式的人（比如口吃）的便利性为代价的。
所以，我们希望可以扭转这种趋势，希望少数派的声音、需求可以成为现在很多科技研究的出发点，而非将少数人的需求看作一个不需要投入过多关注的东西。
Q
现在人工智能的发展日新月异，数据标注工作会被人工智能替代吗？
A
我也有相同的顾虑，因为现在的很多模型都是可以自学的，或者是通过和用户互动来学习。这种学习能力就可能导致标注数据变得不那么必要。
但是，与此同时我又觉得这种学习的结果未必会让数据标注更难，因为最难学习的并非规则，而是人的体验，作为人的体验、人的情感、人的感受，所以需要数据标注更人性化。很多模型假装表现得像人，但是我们还是需要人给人工智能真正的反馈，需要让人工智能知道我的情绪、我的期待值或者我的反馈如何。
所以，将来数据标注工作可能更多需要标注作为人所特定的一些体验或者情绪等，而非标注比较规则化的，可以找出一些规则的事。
Q
我最近认识了一位视障小伙伴，他用手机拍照并备注，让我们给他描述图片的背景、人物的表情是怎么样的，判断能否发朋友圈。我想问，市面上是否已经有这样的软件或者应用，能够在图片识别上帮助到视力障碍者？
A
这种软件现在有很多，有的是全机器，有的是人工伴随着机器。我知道的有SeeingAI、BEMyEye，人工加上OPENAI。但是这些机器存在很多具有挑战性的地方。以前，在我和我所认识的视障小伙伴工作的时候，他们想要图片能够表达他们的一些心情或者是自身的一些审美观念，比如我拍了10张风景，要发哪一张才是最符合我现在的心情，或者是最符合我自己的个性的呢？这种程度的要求目前的程序算法还是没有办法完全做到。
所以，又回到先前说的，人工智能目前还是难以代替人工。虽然发现某个图里有山有水有船有车这些识别性的工作已经基本上解决了，但是最难的是这个图为什么重要、为什么对我重要，现在还是没有解决。比如说我先前工作的时候看到一些图片：有一个女生拍了自拍，手上戴了一枚订婚戒指，很小但是很重要，因为婚戒表示她订婚了或者要结婚了。但是现在机器还是不能完全理解这个小小的细节，不能理解它对于人有重大的意义。
Q
作为甲方，看到中间分包公司的不公，站在需求的发出方或者人工智能行业的上游企业能做些什么？如何让数据标注工作的薪酬分配更加公平？
能否也给从业者提供一些应对分配不公的建议？
A
面对薪酬的分配不合理，我先前觉得不太舒服，但是身处大公司里面的我也明白，我的个人意见很难撼动大公司对于成本立论的追求。所以，我其实很高兴看到非洲的数据标注员有成立工会，因为这个群体的平台可以凝聚一股可以谈判薪酬或者别的工作条件的力量，这股力量是超乎我们想象的。
从一个甲方来说，现在我也在经营一个机构。如果我有标注需求的话，我会优先选择一些残障社群开办的一些外包公司，比如像晓雯所在的一加一。选择这些有更好的劳动保障、条件的这些外包公司，或者更能够代表这些社群权益的机构去合作。作为甲方来说，这是我可以做的事。
吴少玫老师的分享到此结束，欢迎大家在评论区就本篇分享讨论。
编辑 | 敏敏
图片 | 网络
阅读更多有一位精神障碍的母亲，我更加理解父母的身份
中国国家博物馆无障碍游览指南
残障人做有声书演播可以赚多少钱？