在线劳动力市场及其背后的人力资源，在人工智能特别是监督学习的发展中起着关键作用，主要体现在为模型提供高质量训练数据。然而，仅仅依赖人工并不足够，关键在于平台如何通过合适的干预手段，激励参与者持续投入高质量的劳动。

幸运的是，在线劳动力市场本质上是建立在信息系统（IS）之上的。因此，平台可以通过系统层面的控制和干预机制，有效引导劳动者的行为，比如提升图像标注的准确性和努力程度。

事实上，在线劳动力市场的一大优势在于，其干预机制可以通过软件自动执行、监控和测试，依据的是用户的产出、网络交互和平台使用行为。此外，也可以通过人工评估劳动成果（例如审核用于训练的图像标注结果），将反馈输入信息系统中。例如，当用户行为可能导致劳动投入减少，从而造成训练数据不准确、模型预测能力下降时，平台可以通过干预引导其行为，避免损失。

那么，在提升用户努力程度方面，外部施加的奖励与惩罚，哪种效果更强？以及要想达到最佳激励效果，这些措施应作用于个体还是小组层面？本期MISQ文章“Real-effort Incentives in Online Labor Markets: Punishments and Rewards for Individuals and Groups”将为大家回答上述问题，并展示通过平台外部干预手段，在协作式图像标注任务中激励用户投入真实劳动的可行性。

01 相关理论及假设

本文设计并实施了一项在线协作图像标注实验，模拟真实的在线劳动任务环境。实验以“公共物品框架”为基础进行改造，这种框架被广泛用于建模需要协同努力的任务，特别适用于研究“搭便车行为”（即部分人投入较少但仍享受他人劳动成果）的现象，已有大量实验研究对此展开分析。

最常用于分析“搭便车”问题的机制是公共物品博弈。

你可以把它想象成一个小组游戏：每个人手里都有一些“金币”，可以选择投一些进公共池子，也可以选择留给自己。投进去的金币会被系统“放大”，然后平均分给所有人——不管他投了多少，甚至一个都没投。

这样就出现一个问题：如果别人都投了，我自己不投也能分红，岂不是更划算？这就是“搭便车”——你不付出，却享受别人努力带来的好处。但如果大家都这么想，没人投金币，最后公共池子就什么都没有，所有人都得不到收益。

这个游戏揭示了一个现实困境：个体追求利益最大化，可能会让整个群体陷入低效甚至失败的局面。

本文在协作图像标注实验中，采用了外部强制执行的奖惩机制，这与以往文献有显著不同。这一设计能够模拟在线劳动力市场的典型特征，即平台能够持续监控用户行为，并主动实施干预。本文使用实验第一阶段的“搭便车”行为（即努力水平）作为判断依据，由系统决定在后续阶段对哪些用户进行奖励或惩罚。已有文献表明，在组内存在收益差异的情况下，整体贡献行为趋同于收益一致的群体。而个体若获得更高收益预期（如奖励），其努力倾向也将提高；反之，被削减收益的参与者（如受惩罚的搭便车者）则可能减少努力。这些规律可以推广至本文所研究的情境，即奖励和惩罚在个体层面或小组层面的实施方式。基于此，本文提出以下两个假设：

假设一：在在线劳动力市场中，若惩罚（奖励）某位个体，将会降低（提升）该用户的努力水平。

假设二：在在线劳动力市场中，若惩罚（奖励）整个小组，将会降低（提升）组内所有成员的努力水平。

02 实验方法与过程

本实验旨在研究外部干预对个体和小组贡献行为的影响。实验设计涉及两个主要因素：（1）干预类型，包括奖励（增加收益乘数）和惩罚（减少收益乘数）；（2）干预对象，可以是个体或整个小组。根据这两个因素，实验设置了四种干预方案：奖励整个小组，惩罚整个小组，奖励个体，惩罚个体，并引入了一个控制组不做任何干预。

实验采用两阶段设计。第一阶段建立参与者的行为基准，第二阶段根据第一阶段的表现对个体或小组实施奖励或惩罚。与以往研究不同，本实验不仅考察了个体和小组层面的干预，还避免了对参与者的内生性行为干预（例如平台设定的异质性赋予或强制执行的后果）。通过这一设计，实验旨在模拟真实在线劳动力市场中平台施加外部干预的情况。

实验的具体操作包括10轮图像标注任务，任务使用复杂和模糊的图像（如城市景观、自然场景），以便更好地观察参与者的努力。每轮实验后，参与者获得个人和小组的标签相似度评分，并基于这些评分决定奖励或惩罚。干预在第6轮突然应用，参与者未提前知道奖励或惩罚的时机。

参与者来自美国埃默里大学，184名本科生通过远程系统参与实验，随机分配到不同的干预组。实验使用oTree平台实现，确保了随机化分配和实验控制，参与者平均获得3.69美元报酬，实验时长约45分钟。

通过这种设计，本文能够系统地评估不同干预对参与者贡献行为的影响，特别是在在线协作任务中的表现。

03 分析结果

在实验的第一阶段（第1轮至第5轮），本文比较了不同干预组在标签贡献上的差异，发现各组之间的贡献行为没有显著差异。控制组的参与者表现出一定的路径依赖，尤其在早期阶段，但没有与其他干预组显著不同的标签贡献。此阶段的随机分配控制效果良好，参与者的年龄和性别没有显著差异。

进入第二阶段（第6轮至第10轮）后，干预措施的影响开始显现。通过随机效应回归模型分析，所有干预组的努力（以标签数量为衡量标准）与控制组相比，表现出显著差异。整体来看，奖励所有参与者组的贡献水平最高，其次是惩罚所有参与者组。个体干预（如仅奖励或惩罚某个成员）的效果较小。

内生性分析（基于个体行为）显示，所有干预组的参与者在干预后努力显著增加，尤其是群体干预（奖励或惩罚整个小组）的效果更为明显。对于个体干预组，只有被奖励或惩罚的参与者表现出显著变化，未受影响的参与者贡献几乎没有变化。

分样本分析进一步揭示了个体干预的非显著差异。在“惩罚组”中，被惩罚的个体平均增加了约0.94个标签，而未被惩罚的个体增加了0.32个标签。在“奖励组”中，无论是否获得奖励，标签增加量几乎相同，分别为0.49个和0.47个。

总而言之，本实验验证了假设中的外部干预（奖励与惩罚）对个体和小组贡献行为的显著影响，尤其是群体干预在提高参与者努力方面表现更为突出。

04结论和启示

本文初步揭示了在协作式图像标注场景中，平台外部强制执行的奖励与惩罚机制，如何分别在个体层面和小组层面影响参与者的贡献行为。研究结果表明，适当设计的干预措施能够以非显而易见的方式引导行为，有效缓解“搭便车”问题。因此，在线劳动力市场的运营方可以借助这些发现，更好地激发用户的真实劳动投入，满足当前人工智能、机器学习以及各类社会化分类系统对高质量训练数据日益增长的需求。总的来说，信息系统，尤其是在线劳动力平台，具有独特的优势：不仅能够持续监控用户行为，还能主动、外部地执行干预策略，有效应对协作过程中的各种问题。

参考文献：HASHIM, M. J.; BOCKSTEDT, J. C. Real-Effort Incentives in Online Labor Markets: Punishments and Rewards for Individuals and Groups. MIS Quarterly, [s. l.], v. 48, n. 1, p. 299-319, 2024. DOI 10.25300/MISQ/2023/15166.

文章链接：https://doi.org/10.25300/MISQ/2023/15166

作者信息：

Matthew J. Hashim

Title: Associate Professor of MIS, Eller College of Management, The University of Arizona;

Research areas: Digital privacy, Electronic commerce, IExperimental and behavioral economics, Information security and privacy

Email address: mhashim@arizona.edu

Website: https://eller.arizona.edu/people/matthew-j-hashim

Jesse C. Bockstedt

Title: Senior Associate Dean for Graduate Programs and Professor of Information Systems & Operations Management, Goizueta Business School, Emory University

Research areas: Behavioral Economics, Online Consumer Behavior, Electronic Commerce, Crowdsourcing.

Email address: bockstedt@emory.edu

Website: https://www.bockstedt.com/