2位女学者用中国汽车制造公司做实验, 把文章发到了TOP5刊QJE！

凡是搞计量经济的，都关注这个号了

稿件：[e-mail]

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

关于Shing-Yi Wang，参看：他刚用一篇TOP5为上交扳回一局, 多期DID, 农业TFP测算等为实证学习亮点！

通过员工评价改善管理：来自中国汽车制造业的证据

正文

关于下方文字内容，作者：赵丹晓, 武汉大学经济与管理学院，通信邮箱：[e-mail]

Jing Cai, Shing-Yi Wang, Improving Management Through Worker Evaluations: Evidence from Auto Manufacturing, The Quarterly Journal of Economics, Volume 137, Issue 4, November 2022, Pages 2459–2497

Using a randomized experiment with an automobile manufacturing firm in China, we measure the effects of letting workers evaluate their managers on worker and firm outcomes. In the treatment teams, workers evaluate their managers monthly. We find that providing feedback leads to significant reductions in worker turnover and increases in team-level productivity. In addition, workers report higher levels of happiness and well-being. The evidence suggests that these results are driven by learning by managers, leading to changes in their behavior and an overall better relationship between managers and workers.

通过员工评价改善管理：来自汽车制造业的证据

目录

摘要

通过对中国一家汽车制造企业的随机实验，我们研究了员工评价对员工和企业结果的影响。在干预组中，员工每月对他们的经理进行评价。我们发现，提供反馈可以显著降低员工流动率，提高团队的生产率水平，员工也会获得更高的幸福感和福祉水平。证据表明，这些结果是由经理的学习驱动的，经理通过学习而改变自身行为，带来经理和员工之间整体更好的关系。

一，引言

1. 研究背景

（1）反馈是解决企业所有者和管理者之间道德风险问题的一种有效方法。其中，员工对管理者的反馈对衡量和改进管理绩效非常重要。

（2）先前研究的结果结论不一：一些研究发现，反馈改变和改善了管理者的行为，而其他研究发现向上反馈没有导致变化。

（3）GAP：先前研究缺乏硬绩效指标的数据，仅涉及领导层变化的调查报告。

2. 主体研究内容

本研究通过在中国的一个随机实验，调查员工评价对管理绩效（员工、管理者和公司结果）的影响。

（1）实验背景

该实验涉及一家大型汽车制造公司的76个生产团队和1250名工人。在随机实验中，会有一般团队要求其生产线工人对经理进行评价，涉及五个方面的评价：生产组织、公平、接受建议的开放性、适应性和同理心。评价持续8个月，每个月的结果与团队的标准绩效结果一起公布。

a.干预组：对管理人员的直接激励仅在头六个月与评估分数挂钩，在计算管理人员的月度绩效分数时，公司给予员工评估20%的权重，并降低了硬指标的权重（从100%到80%）。

b.控制组：使用现有的基于硬指标的计划，以确定经理们的月得分。

绩效分数决定经理的月奖金、年度加薪和未来晋升可能性。为研究金钱和职业激励在改变经理行为方面的左右，于最后两个月，员工评价并不纳入经理的绩效得分。

（2）数据：研究结合使用公司的管理数据和调查数据。

表 1 数据类型

数据类型	具体类型
管理数据	个人层面的绩效指标；团队层面的关键绩效指标；员工流动率；员工绩效；经理的季度反馈
调查数据	人口统计特征；收入；工作满意度；与经理的互动；幸福感；公司社交网络的信息

（3）主体研究：干预改善了工人、经理和公司的结果，无明显的负面影响。员工报告了更高的工作满意度，辞职更少；经理改变了对员工的方式；团队级绩效提高。

（4）作用机制研究

为了理解可能驱动结果的机制，本文研究了干预对经理、工人和高层主管（他们监督团队经理）的潜在影响。

表 2 作用机制类别

作用机制	主要研究发现	支持
员工提供反馈来改变经理的行为	得到支持。在干预组中，团队经理对员工鼓励更多、批评更少。此外，经理在工作之外与员工有更多的社会互动。	（1）驱动经理行为变化的三个潜在渠道： ①财务激励驱动（未得到支持）。在取消财务激励后，对员工流动和团队KPI的影响仍然存在。 ②团队经理学习（得到支持）。在干预后，干预组的经理比控制组的经理更有可能表示员工反馈是人员流动问题的解决方案。 ③更高层次的主管（未得到支持）。干预后，团队经理对其高层主管的评估在干预组与对照组没有显著差异。 （2）干预具有持久性。
在经理行为没有任何变化的情况下，给员工一个发泄的机会，会让他们更快乐，并减少离职率	未得到支持，员工对评估结果的认识并不重要。

（5）识别和解释中存在的问题

A. 结果可能是由干预组相对于控制组的团队组成变化驱动的。

处理方法：研究表明，在经理更替、员工流动概率、转换团队、离职员工感兴趣的结果方面，不存在显著差异。员工反馈产生的积极效果主要由团队经理直接学习所驱动，团队经理学习减少人员流动的有效方法，从而改变管理行为并改善了与员工的关系。

B. 两种类型的溢出效应可能会使估计产生偏差。

类型1：如果控制组的员工听说干预组的员工评估他们的经理，可能会对没有得到这个机会做出负面反应，导致对干预效果的高估。

处理方法：研究表明跨团队的干预很少，且控制组工人不受社会网络中接受干预的工人显著影响。

类型2：生产线上的团队之间可能会有直接的生产力溢出。

处理方法：研究发现上游有更多的干预组在生产线上，或作为邻居对下游或邻近控制组的生产率没有显著影响。

二，背景

实验场所：中国的一家汽车制造公司。项目合作伙伴是一家大型公司，主要生产乘用车、重型汽车和新能源汽车。与该公司的一家生产乘用车的主要子公司合作，包括四个工厂：一个冲压厂、一个焊接厂、一个喷漆厂和一个装配厂。

实验方式：

1.生产线工人在每个工厂被组织成团队。每个团队都有一个团队经理，通常从团队中的员工中提拔，员工需要通过笔试才能进入考虑晋升的合格员工名单。

2.工人和经理按月领工资。工人和经理的月收入由两部分组成:固定工资和奖金。

a.固定工资约占员工月收入的90%，团队经理月收入的80%。

b.月度奖金部分取决于公司层面和团队层面(经理)以及个人层面(员工)的绩效指标。

c.员工每天都会在团队会议上收到一些关于他们个人表现的公众反馈。经理每月还会收到关于团队绩效指标的公众反馈；关于工人和团队表现的信息定期张贴在团队的公告栏上。

d.工人和管理人员获得半年和年度奖金和加薪，这两者都取决于他们的绩效指标和公司的总体表现。

三，实验

1. 主要实验：员工对管理人员的评价

实验范围：合作伙伴公司的三个工厂，包括76个生产团队和1251名工人。

干预措施：

a.在团队层面，随机采用工人每月评价经理绩效的方式。具体来说，在三个工厂中，一半的样本团队被分配到干预组，该组员工根据管理的五个组成部分（组织性、适应性、公平性、对建议的开放性和同理心）对经理进行评价，等级从1到5。

b.员工评价得分占经理每月绩效得分的20%，而硬指标占80%。员工评价的总分每月都会与其他绩效指标一起发布在团队的公告栏上。

c.从2016年9月到2017年4月，工人反馈的收集持续了8个月。然而，2017年2月后，工人评价得分没有进入经理的总绩效得分；因此，在反馈收集结束前的两个月里，反馈继续进行，而不直接计入经理的每月绩效得分。

步骤：

①在开始干预之前，工厂经理与干预组的工人和经理举行会议，进行介绍。

②工厂经理将评估问卷分发给团队经理和工人，并解释每个问题。

③通知干预组中的员工，评价是完全匿名的，工厂在计算团队经理的月度绩效得分时会考虑工人评价，直到中国新年。

a.具体来说，工人们没有在评价卡上写下他们的名字，评价卡是由我们研究团队的某个人在团队会议结束时分发和收集的。

b.在收集反馈时，经理不在场。数据会发送到每个工厂的人力资源团队。

c.每个月里，各团队的整个反馈过程不到10分钟。

2. 二次实验：员工对同事评价政策的投票

将38个干预小组（658名工作人员）随机分配到干预组，投票决定他们是否希望引入同事评价。如果团队中的大多数员工投票决定引入同事评价，需每月对所有同事进行评价；信息将被提供给公司，并纳入工人月奖金的计算中。如果大多数工人不愿意，则不会改变他们月奖金的计算。

在控制组中，随机分配一些团队进行同事评价，与干预组保持相同比例。然而，没有一个干预组选择新的评价策略。因此，研究并没有在任何团队（包括干预组或控制组）中实施同事评价政策。

四，数据

两个主要数据来源：

①公司管理数据：2016年5月-2017年7月；

②调查数据：包括主要实验的数据（2016年6月-8月）和随访调查的数据（2017年7月-8月）。

表 3 数据类型及其组成部分

数据	具体数据	组成部分
关于绩效的管理数据	工人绩效的月度数据	生产、安全、质量、态度、出勤、日常事务	每个员工的总绩效得分为100分
团队级KPI的月度数据	生产、管理、设备、质量、安全	从0到100
补充数据：关于业绩审计和管理人员反馈的行政数据	个人绩效审计数据	出勤、生产、安全和质量	如果审核顺利，员工将获得正的审核分数，如果审核发现一些问题，则获得负的分数。
团队经理季度调查数据	生产、激励、公平、评估、培训和授权	评价分数从1到5不等，5分最高
调查数据	基线数据收集一年后（2017年7月和8月）的一轮随访数据	幸福问题、健康状况、情绪、工作满意度	幸福：0-10分 情绪：积极和消极影响量表，由Watson，Clark和Tellegen（1988）开发 工作满意度：5分制
干预前（2016年6月至8月）的基线数据

表 4 针对管理数据和调查数据的干预前汇总统计数据

（1）样本中工人的人口统计学特征：

a.工人的平均年龄是30左右。

b.生产线工人中绝大多数是男性（约90%）。

c.大约一半的工人拥有高中或更高的学历。

d.公司的平均任期超过四年。

e.大约三分之二的工人已婚。

（2）关于个人幸福的问题。从0到10分评价生活，工人们给自己的生活打了7分左右。在10分的范围内，干预组和控制组的差异为0.3（或标准偏差的15%）。

（3）总体健康状况：超过30%的工人报告说身体非常好。

（4）过去30天的情绪：采用一套广泛使用的量表，称为积极和消极影响时间表（PANAS），由Watson，Clark和Tellegen（1988）开发。总计20个问题，研究者们按照标准公式将其转换成积极情绪和消极情绪得分。

（5）平均月收入约为3700元人民币，略高于美国500美元。

五，主要结果

1. 计量策略

实证策略利用随机实验来比较干预组和控制组的结果。对于个体水平的结果，对t组中的个体i估计如下等式：

观察干预前的四个月，可研究干预组和控制组之间的趋势是否有任何差异。观察干预开始后的10个月，可检查变化出现的时间及其持续效果。具体来说：①检验持续性：反馈在干预开始后8个月结束（j=7），但在反馈收集结束后，有另外三个月的管理数据。②检验影响是否由财务激励驱动：财务激励在干预后第六个月结束（j=5）。

2. 人员流动率、个人绩效和团队级KPI的结果

表5评价经理对离职的影响

基准调查样本中，工人流动率下降了6.2%；包括新进人员的样本中，工人流动率下降了5.1%，两个估计值在1%的水平显著。

表6评价对经理的影响

干预结束后的季度调查结果显示，与控制组的经理相比，干预组的经理视人员流动为主要问题的可能性会低16%(Table III Panel B)。而在其他强调的问题上，干预组和控制组的经理不存在显著差异。

表7评价经理对员工绩效的影

评价经理对于员工个人绩效的影响不显著。

表 8 干预前后个人绩效和团队KPI差异的分布

（A）个人水平KPI的增加在干预前后的分布中差异不明显。

（B）团队水平KPI的增加在干预前后的分布中差异明显。

表 9 评价经理对团队KPI的影响

评价经理对团队KPI有显著的正向影响。

表 10 Kaplan-Meier和风险模型估计留在公司的概率

FIGURE Ⅱ显示了Cox比例风险模型的估计值，以及干预后留任概率的Kaplan-Meier估计值。虽然在干预后的第一个月留任的概率看起来非常相似，但在第一个月后，干预组的概率高于控制组，并随着时间的推移而扩大。这种趋势一直持续到对经理的财务激励措施结束，甚至在反馈结束之后。

表 11 个人绩效和团队KPI

GIGURE Ⅲ显示了月水平的个人KPI和团队KPI。

（A）：无论是在干预前和干预后，个人KPI倾向于一起移动。

（B）：干预前，干预组和控制组呈平行趋势，干预组的团队KPI略高。干预后，团队KPI继续平行移动，但两组差距扩大，干预组表现更好。这种模式在干预开始后相似，在财政激励或反馈系统结束后没有发生显著变化。

总结：在财务激励结束后和工人反馈政策结束后，工人评价对KPI的影响持续存在。这表明，财政激励并不是经理进行任何改变的主要动机，也不是这些改变持续一段时间的必要条件；干预所带来的变化甚至持续到员工的反馈政策的结束。

3. 收入和其他福利指标的结果

表 12 评估经理对收入和幸福感的影响

主要结果表明，员工评价经理会导致员工流动率下降，团队KPI增加。这对受干预的经理来说是件好事，因为团队KPI水平更高，收入更高。虽然现有的员工表现和收入并没有改善，但员工了获得更高水平的幸福感。此外，干预组的员工留任率较高，也表明他们在工作中更快乐。

六，机制和持久性

本文考虑了两个可能驱动研究结果的主要机制：

①经理可能会改变工作中的行为，从而导致员工的工作结果的改变。

②让员工有发泄的机会，在经理没有做出改变的情况下，也会让员工对公司更满意，并减少员工流动率。

1. 经理行为的结果

1）研究设计

①分解工作满意度指数(Table VI，(4))的个别问题。结果如所示Table VII Panel A，每行是一个单独的回归，第一列中显示的变量是回归中的因变量。

②向员工提出与经理互动的问题，并进行量化处理。具体来说，询问员工在工作之外与经理社交的总次数，经理是否回复了该工人的微信；接着，将这两个问题的答案合并成一个社会化指数，并研究干预对社会化指数的影响。

2）回归结果

表 13 评价经理对工作满意度组成和社会化的影响

Panel A：

a.与团队经理直接相关的工作满意度，包括有四个组成部分（鼓励、不公平、批评、没有同理心），其中有三个在干预组发生了显著变化：干预组的团队经理对员工鼓励更多，批评更少，更具同理心。

b.关于工作满意度的其他问题，如晋升机会或对福利的满意度，并没有因为干预而发生显著变化（例外：队友的无能）。

Panel B：

a.干预组员工与经理的社交活动增加了15.4%的标准差（1%的水平上显著）。

3）解释

干预可以导致经理改变行为，可能存在的原因：

①团队经理从工人的反馈中学习。

②其他原因：

a. 财务激励。然而，本研究发现在取消财务激励后，反馈效果仍然存在。

b. 上级主管可以从员工的评估中获取信息，并向团队经理提供指导。然而，Table III Panel A表明，干预并没有导致更高层次监管者的行为发生变化。

2. 员工发泄的结果

1）研究设计

1.利用2017年夏天后续调查中的问题，询问员工自2016年秋季以来是否对其经理的管理技能提供了反馈。如果对这个问题的回答是肯定的，员工就会被问及他们的反馈是否以任何方式影响了他们经理的收入。

2.同时向经理们提出类似的问题:员工是否对自己的管理技能提供了反馈，如果回答是，他们会被问及员工的反馈是否会影响他们的收入。

2）回归结果

表 14 政策意识的影响（经理与工人）

1.经理对反馈的认识对总KPI有显著的积极影响。

a.在经理认为干预显著的团队中，团队级别的总KPI比待遇不显著的团队高5.1。

b.经理的认识对生产KPI的影响是正向的，但结果并不显著。

c.经理的认识对员工的生活评级和幸福指数有显著的正向影响。

d.尽管控制了经理的认识，工人的认识与任何结果都没有显著关系。

2.研究结果表明，主要的机制不是通过工人的发泄和授权来实现，而是经理对反馈的认识，以及他们如何因此而改变管理行为。

3. 持久性和新员工

在不再收集管理人员的员工反馈后，有83名新员工开始接受培训(于2017年4月工人对经理的评价结束后开始)。这主要是加入新员工的影响，以研究是否有证据表明经理和工人关系改善的持续性。

因变量：个体水平的变量，包括幸福感的两个衡量标准(生活满意度和幸福指数)和工作满意度的四个组成部分(他人的无能、经理的鼓励、经理的批评和经理的同理心)。

表 15 过去的干预对干预后新进入者的结果的影响

1.与控制组新成员相比，从未参与反馈的干预组新成员获得经理的批评更少。

2.总的来说，结果支持了经理改变与员工的互动机制，而且这些改变有持续性，结果还支持了经理从反馈中学习的观点。

七，溢出效应

本文考虑了两种潜在的影响溢出的方式：

表 16 两种潜在的影响溢出的方式

两种潜在的影响溢出的方式	解决方法
间接溢出（可能导致对干预效果的过高估计和对干预机制的错误解释）	①询问员工在后续调查中是否与他人讨论干预的问题。 ②调查如果一个人的社交网络中有更多接受干预的人，是否对结果有影响。
直接溢出（可能导致低估干预效果）	研究了生产线上游或邻近范围有更多干预团队的影响。

表 17 溢出效应

1.Panel A: 控制组员工有更多的干预组社会关系，对KPI不存在显著影响。

2.Panel B: 上游团队的数量对总KPI或生产KPI没有显著影响。

3.Panel C: 相邻团队的数量对KPI存在非常小但不显著的影响。

结果：没有证据表明溢出通过对控制组的负面影响，或通过对生产线或工厂车间的正面溢出影响而使结果产生偏差。

八，结论

1）研究结果

①让员工评价经理可以减少50%以上的员工流动率。干预不影响个人KPI，但显著增加团队层面的KPI。这是因为干预组的员工流动率比对照组低，而高流动率会降低团队生产率，新员工通常在开始时表现不佳，需要大量培训。此外，本文发现团队中有机会评价经理的员工，快乐和幸福度水平显著提高。

②探究驱动观察结果的因素，本文发现一种直接机制的证据: 团队经理从干预中了解到，获得反馈和改善与员工的关系是减少流动的有效方法。具体来说，接受干预的经理更多地鼓励员工，更少地批评他们，表现出更多的同情，还会在工作之外与员工有更多的社交互动。本文还排除了其他两种潜在的机制：包括通过给员工发泄的机会来激励他们，以及团队经理的学习是由更高级别的主管来调解。

2）未来研究方向

为什么经理在干预之前没有与他们的员工建立起一种更加同情和鼓励的关系？

3）研究意义

①本研究通过市场检验，合作公司决定改变公司政策，工人反馈会纳入所有工厂，涵盖数千个生产团队和近20，000名生产线工人。

②研究结果表明，让员工参与评价管理者是一种有效且低成本的方法，可以改善管理实践，提高员工满意度，减少人员流动。

---

关于固定效应，参考：1.公司和个体固定效应总是更好吗? 关于固定效应使用和解释的最全指南！2.使用固定效应FE时良好做法对应的检查清单，3.双向固定效应多期DID最新进展和代码汇总, 关于控制变量和固定效应选取的讨论，4.Top: 终身制教授是更好的老师吗? 基于分组回归, 控制固定效应的方法实证，5.快速估计带有高维固定效应的泊松模型, 这计算速度真快, 真实用！6.不能直接控制某个固定效应时, 我们能尽量做些什么呢？7.截面DID, 各种固定效应, 安慰剂检验, 置换检验, 其他外部冲击的处理，8.时间固定效应和时间趋势项的区别, 可以同时加？9.省份/行业固定效应与年份固定效应的交乘项固定效应，10.面板交互固定效应是什么, 白聚山教授推动了最前沿的研究，11.面板数据里处理多重高维固定效应的神器, 还可用工具变量处理内生性，12.双重固定效应因果推断经典文献，新农保对所有农民都好吗？13.一定要控制时间固定效应吗？14.在Stata中如何做2SLS, DID, DEA, SFA, 面板PSM, 二值选择, 固定效应和时间序列？15.公司和个体固定效应总是更好吗? 关于固定效应使用和解释的最全指南！16.使用固定效应FE时良好做法对应的检查清单，17.双向固定效应多期DID最新进展和代码汇总, 关于控制变量和固定效应选取的讨论，18.多期DID中使用双向固定效应可能有问题! 又如何做平行趋势检验? 多期DID方法的最新进展如何? 19.快速估计带有高维固定效应的泊松模型, 这计算速度真快, 真实用！

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。

4年，计量经济圈近1000篇不重类计量文章，

可直接在公众号菜单栏搜索任何计量相关问题,

Econometrics Circle

数据系列：空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 |  夜间灯光 | 官员方言  | 微观数据 | 内部数据计量系列：匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID数据处理：Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |干货系列：能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此，建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀是通过感染优秀而互相成就彼此的。