查看原文
其他

队友“摸鱼”的问题,有解决办法了

张行健 TechXAcademy 2022-10-19


疫情使我们逐渐习惯了远程办公的工作模式,各种在线协作软件的出现也让我们的工作变得更加高效便捷。那么,队友摸鱼的老大难问题又有解了吗?


在我们上一场的旧金山夏季特别活动中,XA 校友、就读于伊利诺伊香槟分校计算机科学系的张行健为我们分享了「数据驱动下的团队合作」这一话题,希望从人机交互的角度设计出更为“公平”的交互界面,让浑水摸鱼的人无所遁形。


(以下内容共计:2200 字,阅读需要:4 分钟)


现在的工作越来越离不开团队分工,但只要有小组合作,就会有浑水摸鱼的人。正如让每一位当代大学生闻风丧胆的小组作孽业,倒不是作业有多难,而是最怕遇到划水的组员,这些人明明什么也不做,却能在最后留下署名,甚至得到高分。



因为大家总体上的成果做得还算不错,最后每个人不论做了多少贡献,都能拿到一样好的成绩。这就让评价的公平性成了一个令人头疼的问题。


这个问题在英文的表达中,称作“Free Rider Problem”(搭便车问题)*。组队合作中,每个人都贡献均等吗?所有人都得到相同的成绩,对每个人来说公平吗?如何筛选出浑水摸鱼的成员?如何真实反映每个人的贡献?


*Free Rider Problem(搭便车问题)是指:如果对重要的集体物品的有效生产而言,每个行为主体不付钱就能得到它,那么这种激励将因此使得自由的行为主体受到损害:如果物品的供应不足,自己付钱的行为也不会使其充足;而如果供应充足,自己则可以不付钱就能得到它。——斯坦福哲学百科



在我们现在的人机交互领域,例如期刊 CSCW(Computer-Supported Cooperative Work & Social Computing)*,就主要研究如何用技术去帮助团队合作有更大的效率和表现,为这个问题的解决提供了良好的研究基础。


*CSCW(计算机支持协同工作)的定义是:“在计算机支持的环境中,一个群体协同工作完成一项共同的任务。”它的基本内涵是计算机支持通信、合作和协调。这个概念是在 1984 年由美国麻省理工学院(MIT)的依瑞·格里夫和 DEC 公司的保尔·喀什曼等人提出。


*社会计算(Social Computing)属于计算机科学的一个领域,关注社会行为和计算系统的交叉。它的基础是通过使用软件和技术创造或重新创造社会惯例和社会环境。


关于这个主题,一个比较直观的例子是我们在电脑上使用文字编辑软件的变化。


在我的中学时代,大家基本上都是使用 Word 文档,但慢慢到了我进入大学需要去做合作任务时候,大家会更偏向于 Google 文档 ,因为整组所有人都可以同时在 Google 文档上进行编辑,这就是技术能够为团队协作带来的帮助。在研究中,我们把这些有助于提升群体工作效率的软件称为群件(Groupware)*。


*群件(Groupware):是指在群体工作(Work Group)中,各工作者因为时间及所处地点的不一致,造成交流及协调的不便。群件就是针对群体工作而发展出来的技术产品,目的在于促进群体的交流合作及资源分享,充分提高群体的工作效率和质量。


具体而言,我们这样定义群件:以计算机网络技术为基础,以交流(Communication)、协调(Coordination)、合作(Collaboration)及信息共享(Information Sharing)为目标,支持群体工作需要的应用软件。


在这里,我们也可以引用 CSCW 的创始人的原话, CSCW 旨在探究“如何利用技术对团队行为提供帮助,研究团队的协作性和社会性”。



而回到开头我们提出的问题,疫情以来的远程办公方式越来越普遍,那么在“群件”的数据驱动下,我们的在线团队协作又如何能够得到优化?



我们项目初步的设想就是利用活动贡献(Activity Trace)的数据去帮助组员进行互评(Peer Evaluation)*,从而更好地呈现每个人在团队协作中的工作表现与参与度。


*同行评议(Peer Assessment):依据 Topping (1998) 、Sluijsmans, et al. (1999)及 Falchikov & Goldfinch(2000) 所提出的定义,是指由相同年级背景的学生,跳脱学习者的角色,尝试以教师的角色去评价同学。又称为同侪互评或同行评议。


在我们进行了文献回顾之后,根据相关论文[1][2]总结出来的同行评议中几个潜在的观察点,依照主观性和客观性、可观察性和不可观察性的两对维度,将课程中可以进行量化的评价分为了四种类型,包括了自评、组员互评、内容贡献度评分以及汇报表现评分,具体参见下图。



在我们的大学课堂,大部分的课程打分机制都只能够涵盖汇报表现的评分,而自评的话,每个人为了自己能够取得好的成绩,也会给自己打出最高分。


在论文 The application of games theory to group project assessment 中,就用一个非常直观的比喻指出了同行评议的难点,即,用博弈论分析小组项目。论文指出[3],根据一些可感知的表现对学生进行评分,会对结果产生负面影响。


那些标准有时可能是不公平的,因为对问题解决贡献最小的学生,可能在最后给出最自信的陈述。而如果我们在这些情况下考虑传统的评估,它们会促进不诚实和竞争。


于是,我们的研究重点也就落在了剩下的组员互评和根据内容贡献度评分的两种维度上。


Peer Evaluation Form 就是很好的一种组员互评的工具,如下图所示。



对于内容贡献度,相信经常使用 Github 的小伙伴对此也不会感到陌生。我们在网页上也有许多可以查看的可视化的视图 ,反映你付出的时间或工作量,比如修改次数、已经修改了几行代码等等。



了解到这些之后,我们就可以开始探讨研究问题了。那么我们如何根据共享文档的修改记录来预测个人表现?这个预测准确吗?又有哪些数据和特点与个人表现最相关?


我们设计方法的灵感来源是一篇论文,它作为一项初步工作已为我们提供了一些见解[4]。例如,它讨论了自评和互评之间的一致程度的差异,并提出了一种进行反映互评的实验的方法。我们在实验中对不同的评估方法做了拓展,这有助于我们更好地解释评估的性质,以及它与感知表现的相关性。


在后续的实验中,我们一共找了 21 个被试,按三人一组,在 Google 文档上进行一个限时的合作写作任务。


之后我们手动收集了他们的 Activity Trace,也就是 Google 文档上每个人创造的单词数,用时时长短、编辑次数、提交次数等,通过随机森林、决策树、相关矩阵(correlation matrix )等方法,我们得到了一些发现:如果你想在团队项目中获得组员的肯定、拿到更多的分数,那么你需要有内容产出、早期的工作与持续的工作,这些都是非常符合我们直觉的结论。



在未来,我们还会以这些结果为依据进行交互界面的设计,从而真正帮到教授或老师能在进行小组打分时得到更多可以参考的指标,“不放过”任何一个浑水摸鱼的人,也能让付出更多的人获得应有的成绩。


参考文献:

[1] Topping, Keith. "学院和大学的学生之间的同行评估"。教育研究评论》68.3(1998)。249-276.

[2] Van Zundert, Marjo, Dominique Sluijsmans, and Jeroen Van Merriënboer. "有效的同侪评估过程。研究结果和未来方向"。学习与指导20.4(2010)。270-279.

[3] Pitt, M. J. "游戏理论在小组项目评估中的应用"。高等教育中的教学5.2(2000)233-241.

[4] Johnston*, Lucy, and Lynden Miles. "评估对小组作业的贡献"。高等教育中的评估与评价29.6(2004)。751-768.





作者:张行健

编辑:兵书

排版:灵〇


Hi~ TechXAcademy 的读者朋友们。为了改善我们公众号的阅读体验,给大家呈现更好的内容,我们在近期特别推出了「读者体验升级计划」,欢迎扫描下方卡片二维码参与我们的调查,每一份反馈对我们来说都十分重要。

问卷仅需 3 分钟填写完成,提交成功即有机会参与我们的抽奖送周边活动,我们将选出幸运读者并送出特别定制的 XA 周边礼物,感谢你们的参与!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存